网络故障诊断方法与实践PPT课件.ppt

1、Vision for the Enterprise Performance Management Market,网络故障诊断方法与实践,建设满足企业业务需求的网络运维管理系统,故障诊断,监测 和 基线,服务水平管理,被动模式,主动模式,针对于服务,网络故障诊断方法,企业网故障诊断的方法实践,协议轴,故障点,企业网的故障诊断（链路轴）,Ethernet Frame,企业网的故障诊断（协议轴）,SMTP Server,E-mail user,E-Mail,Layer 7-5,E-Mail,TCP Header,Transport Layer,E-Mail,TCP Header,Network La

2、yer,IP Header,PACKET,Source: User Destination: Server,FCS,ETHERNET FRAME,Network,Physical 物理层,Data Link 数据链路层,Network 网络层,Transport 传输层,Session 会话层,Presentation 表示层,Application 应用层,流量、协议分析的关键（如何了解网络中的流量）,数据源来自设备 SNMP轮询 Netflow,数据源来于独立硬件 镜像捕捉 在线捕捉,网络故障诊断实践案例 异常流量分析,异常流量类型,案例一：链路流量中出现错误帧，导致丢包 端口自适应失败（

3、不匹配） 案例二：带宽使用异常 非业务应用占用业务应用带宽 案例三：站点ARP流量异常 站点病毒导致网络ARP流量异常 案例四：异常的主机行为 通过TELNET端口发起DDoS攻击,案例一,自适应问题导致链路出现错误流量,自适应问题的测试,总有用户报怨”网络太慢”或”无法与服务器连接”，有什么办法可以判断是否由自适应问题引起的呢？从网络监测的角度看，可以使用SNMP协议从交换机的MIB库中读取基本的流量统计信息。例如: 端口利用率 帧的数量及其中的错误类型 冲突和CRC错误帧如果有大量的冲突或CRC错误被检测到，就有可能是自适应失败。,有双工问题的端口会显示大量的 FCS/CRC 错误。这些错

4、误可以通过平均错误加以分类交换器的第6号端口有错误,故障案例,端口自适应过程,NLP FLP,FLP,自动检测的顺序,自适应是在IEEE 802.3u 中规定。其好处是在不需用户参与设定的情况下，自动以最高速率连接,1000BASE-T 全双工 1000BASE-T 半双工 100BASE-T2 全双工 100BASE-TX 全双工 100BASE-T2 100BASE-T4 (只能半双工) 100BASE-TX 半双工 10BASE-T 全双工 10BASE-T 半双工,双工问题综合比较表,案例二,非业务应用占用业务应用带宽,故障现象:,某公司在上海的分支部分抱怨与总部的服务器连接慢 应用和

5、数据库管理员说 “数据库与应用性能很好”,故障网络,Database Servers,Brach Office Users,WAN,OptiView E1 WAN,北京,深圳,上海,E1,Fractional E1 512 Kbps DLCI 102,Fractional E1 768 Kbps DLCI 101,用户抱怨应用慢,服务工作正常,E1,将广域网分析仪接在总部广域网出口的骨干链路上,到其它分支结构,当前没有物理层上的故障,注意到最高的应用协议不是网络中常见的,注意到最高流量的 VC 是上海, 这是不正常的,显示上海地区的流量最高，也正是这个地区的用户抱怨慢,为了确认每个VC当前流量

6、占用的比例，我们选择 % VC 进行排序查看,点击CIR按钮，查看这个DLCI所标识的PVC的CIR的情况,这一地区流量超载,注意到 DLCI 101 连接上海的PVC自动进入流量查看窗口,Wow! 最高应用是 “Kazaa” ，这是一种对等式的共享文件的应用，这应用在这个企业网中是不充许的。,点击 top applications项可以看到这个PVC流量中应用最高的协议排序。,当选中这个协议时，该柱状图会加亮显示,通过Top Conversations可以找到究况是那些主机正在使用这种应用进行对话,右边是一些上海地区的客户机,左边是一台服务器,我们确认一下这个应用是什么TCP端口，这样可以通

7、过防火增或路由器的访问控制列表将这个端口封掉,TCP 1214 ，是这个未授权的应用占用了大量网络资源，造成宝贵的广域网链路被大量占用。,案例三,站点病毒导致网络ARP流量异常,网络发生故障,某天正是在上班时间，*公司网管接到投诉说上网和发邮件很慢，并且时断时续。经查证内网间访问一切正常，但在访问外网时连接不稳定甚至中断，并且此故障存在于全网范围内。,网络拓扑图简介（IP网段：192.168.0.xxx）,INTERNET,用户群,用户群,路由器IP：192.168.0.201,服务器IP：192.168.0.1,故障分析排查步骤,1、此次故障只是针对于访问外网，而在内网一切正常。 路由器故障

8、。 查看路由器工作的指示灯一切正常， 登陆路由器查看WAN口流量也不大，不存在与外网连接链路带宽被占用情况。 更换路由器与交换机的连接线后故障依然存在。 将路由器重启，故障依旧。 2、因为是在公司的正常上班时间，所以必须要在最短的时间内排除故障。 3、采用ES网络通，在交换机上随便找个接口连接到了网络中。,查看本地网络带宽,本地带宽正常,查看广播数据包的占用情况,广播占用正常,分析,查看本地带宽和带宽占用情况是想了解网络中是否出现了广播风暴，但从查看的结果来看，各种数据包的占用情况属于正常。接下面查看各协议的分布情况。,查看协议分布情况,发现异常,进一步查看详细情况,查看ARP的详细情况,所有

9、发送ARP数据包的设备排名,排在第一位设备发的ARP数据包远远超过其他的设备,分析：从协议分布结果中看到ARP包的百分比占用率84.5%这对于一个正常的网络来说显得有些过高。 在随后的详细查看中发现设备QINHAN的发包量是其他设备的几千倍，由此可以大致判断设备QINHAN存在问题！很有可能是中了ARP病毒！下一步通过协议分析工具，进行捕包分析以验证判断。,捕包分析,全是从网关的IP地址发来的ARP应答包,注：192.168.0.201是网关路由IP地址,详细查看数据包,发送这个数据包的IP地址和MAC地址,这是个ARP数据包,地址对照分析,实际的IP和MAC地址的一一对应,确认故障,故障的原

10、因是因为有台设备中了ARP病毒，在全网中发送ARP欺骗数据包，从而导致其他的设备无法找到网关路由器，也就无法访问外网。下一步需要快速定位QINHAO这台站点的位置，将其断网排除故障，并进行病毒清除。,定位这台设备,设备QINHAO的所连接的交换端口,总结,当网络中出现ARP病毒爆发时，整个网络的带宽占用一切正常，路由器和交换机的工作状态也是正常的。 网络中广播流量可以会很高，但也可能是正常的水平。 通过分析流量中的协议分布情况，可以发现ARP协议的流量占了很大的比例。 通过分析ARP流量源，可发现异常站点发出的ARP数据包比例大大超出正常水平。,案例四,采用TELNET端口发起DDOS黑客攻击

11、,物理层上 没有故障,没有问题记录,在应用列表上发现有很多Telnet协议。,问题好像出在Telnet协议上,选择针对Telnet协议的“Top Conversation”最高对话来看看谁在搞鬼,选择显示所有的VC，不要错过任何的数据源。,谁在用Telnet,点击“Filter”来采集一些Telnet数据包，多找一些证据。,看到这些跟服务器对话的奇怪的IP地址，它们的地址都只隔一个位。,捕捉数据深入分析,在过滤器上，设定捕的包源地址：从服务器到任意地址。留意Telnet协议已预先为您选定了。,开时捕包,协议分析显示有很多向服务器发出的TCP请求，但都没有TCP确认包送回到服务器去完成TCP的握

12、手过程. 另外, 所有的可疑IP地址都是用同一个TCP端口.很不对劲!,大量的TCP请求,异常流量分析总结:,通常问题的根源是一种特殊应用占用了网络资源； 通过流量分析，某种应用可以方便地定位是哪些用户造成的； 很多病毒的表现都是导致网络有很多非正常的流量; 网络分析仪可以立即告诉你网络异常是非正常流量造成的, 很快地确定非正常站点的IP，故障定位就非常快; 作为网络管理来说，最主要的是预防为主。这就要求能够实时地，连续不断第对网络实施监测，包括广域网和局域网.,站点的快速定位,Tabular View 显示所选设备上每一个端口的详细信息。选中一个端口，所有接入该端口的设备都会在右侧屏幕中显示

13、出来。,交换机端口所连接的设备,如果不知道设备所接入的端口，可以通过查询主机端口的下拉框中选择设备选中了主机，与其相联的端口会在屏幕左侧显示出来。,查询设备所连接的交换机端口,客户端、服务器访问网络路径追踪,追踪从应用的客户端到应用的服务器端，综合了第 2层及第 3层经过的路径分析,应用性能故障诊断,应用故障诊断,“只证明不是网络本身问题，已经不太足够!” 网络工程师需要 鉴定问题发生的归属 “证明是谁的问题!” 鉴定最有可能发生问题的地方 网络, 应用, 服务器, 客户主机 提供足够的信息 明确的告知相关的 IT责任 部门, 而不必了解具体的应用内容 鉴定网络问题 “这是网络问题而不是连通性

14、问题!” 提供工具 和指导 进行 分析 及解决网络运行问题,鉴定问题所在领域,验证网络服务 802.1x DHCP DNS,验证应用连接,网络服务,能够增加额外的 DNS 服务器和多地址解析测试在线和不在线的 web, email and IP 地址的有效性,应用的连通性,显示仪表打开及连接一个指定的应用端口所需的“setup time” (包括 数据包网络上往返时间加上 连接设置时间) SYN to SYN-ACK,应用连通性测试的设置,可以选择任何已知端口及用户指定的端口,用户可以设置测试间隔时间,应用端口扫描的设置,应用端口扫描的设置,应用端口扫描的设置,应用流分析,Quick Over

15、view Protocols in the trace Measure the aggregate throughput for individual applications over time. Servers and clients by protocol Individual protocol transactions for each application layer protocol: List of the individual commands Application turns Throughput for each application transaction Payl

16、oad vs. Header throughput for each transaction Time from request to first data Connection setup time Bounce chart showing the application layer information Allows adding transport layer packets in the bounce chart, with error packets marked in red Connection setup time on bounce chart Issues detecte

17、d,有多少 Web 服务器 有权使用 CNN.COM 上获得的Danaher 股票价格信息?,数据包捕捉后的分析,回答: 18 是 18个! 显示数据流的传输，, 有效载荷 对数据包头 及在传输期间的数据流,这个分析是来自 DNS, DHCP, HTTP, HTTPS, SMTP and SMB 数据传输,分析所有与数据传输相关的服务器,自动提供相关服务器数据传输相关信息 不需要设置显示 过滤及分析大量的单独数据包,分析每一个单独的数据包,在单项菜单选项中,，单独的分析 可能包括 Server-Client or Client-Server 往返时间,应用弹跳图,IP以太网络性能验收与评测,中

18、华人民共和国国家标准,基于以太网技术的局域网系统的验收测评规范 Specification for Acception，Testing and Evaluation of Local Area Network (LAN) Systems Based on Ethernet Technology,中 华 人 民 共 和 国 国 家 质 量 监 督 检 验 检 疫 总 局,局域网系统,网络设备是局域网系统的核心部分，目前主要设备类型有：集线器、交换机、路由器、防火墙等。传输介质主要有双绞线、光缆等。网管系统是对整个局域网系统进行管理的软硬件系统。提供基本网络服务的设备是保证局域网正常工作和丰富局域

19、网功能的各种服务器，包括网管服务器、DHCP服务器、DNS服务器、Email服务器、WWW服务器等。 根据局域网系统实际部署情况， 一般都可以将其划分为核心层、 汇聚层和接入层。局域网系统的 通用结构如图1所示，如果有的局 域网结构简单，可以只有一层或两层。,基于以太网技术的局域网系统的验收测评规范,规定了局域网系统基本性能指标，包括连通性、传输速率、吞吐率、丢包率、传输延迟、广播率、错误率、线路利用率、碰撞率等，并给出相应的限值和测试方法； 规定了包括DHCP、DNS、Web、Email、文件服务等应用的指标要求和测试方法； 规定了包括子网划分、VLAN、 QoS、 NAT、用户接入多ISP

20、、AAA、设备和线路备份、组播等在内的主要网络功能要求及其测试方法； 规定了网络管理功能的要求和测试方法； 规定了验收测评和日常维护测试两种测试类型，以及需要测试的项目和判据。,测试内容,网络系统性能测试 网络系统应用性能测试 网络系统功能测试 网络管理功能测试,RFC2544,吞吐量（Throughput）：测试网络设备包转发的能力。通常指网络设备在不丢包条件下每秒转发包的极限。一般可以采用二分发查找该极限点。时延（Latency）：测试网络设备在吞吐量范围内从收到包到转发出该包的时间间隔。时延测试应当重复20次然后去其平均值。丢包失率（Framelossrate）：测试网络设备在不同负荷下

21、丢弃包占收到包的比例。不同负荷通常指从吞吐量测试到线速（线路上传输包的最高速率），步长一般使用线速的10%。,测试吞吐量,吞吐量的算法,吞吐率 = 发送速率 x (收到的帧数/发送的帧数) 例如: 1000Mbps x (1489K frames/14881K frames) = 100Mbps 带宽= 丢包为0时的最大吞吐量,影响吞吐量的因素,网络设备 集线器, 交换机,路由器, 无线接入点AP, 网卡,主板,操作系统 流量类型 帧尺寸, 帧内容, 测试时长,协议类型 服务端口 防火墙, 路由规则,流量发送计算方法,千兆以太网线速发送帧数 1,000,000,000bps/8bit/（64 + 8 + 12）byte=1,488,095fps 需考虑8byte的帧头和12byte的帧间隙的固定开销。对于万兆以太网，一个线速端口的包转发率为14.88Mfps 对于千兆以太网，一个线速端口的包转发率为1.488Mfps 对于快速以太网，一个线速端口的包转发率为0.1488Mfps,验收评估推荐标准,END!,欲了解产品、方案、服务的详细资料：,请访问hhttp:/