●故障环境
    ●故障现象
    ●故障分析
    ●故障解决
    ●技巧小结
    
   

 
    
    说明：

    1.VOD在线视频是通过web页面观看的，通讯流全部使用HTTP的80端口传输数据

    2.客户端与服务器是纯路由环境下完成数据交互的

    故障现象
   
    客户端通过浏览器在线观看VOD视频时，不定时（有时几分钟、有时十几分钟，没有规律）的出现中断情况。
    使用ping命令长时间测试VOD服务器的连通性，一直正常。
    异常时，VOD服务器的web页面访问正常

    前期简单分析
   
    Ping命令测试正常，说明不存在连通性问题
    不定时出现、无规律性说明应该不是策略（时间控制等）原因导致的
    其他应用未反应异常

    通过简单分析，没有什么明显的突破口，此类故障应属于较高层次的故障，只能借助科来抓包分析来找突破口了
   
    客户端抓包分析可能原因
    
    

TCP选项字段导致的70B的ack
   
    一般而言，这种应用都是服务器向客户端传输数据，而客户端仅对服务器端发送确认即可，这种确认不包含任何的数据，其大小在填充完后只有64B
   
    而在故障发生时，我们竟然发现了客户端向服务器发送的大小为70B的ack
   
    TCP选项解码
    
    

 
    
    1.选项字段解码，显示为客户端使用的为SACK选项，其左右边边界都已表示出
    2.科来抓包显示客户端多次向服务器发送带SACK选项的ACK包
    3.通过科来解码，显示SACK左左边界内容一致
    4.显示客户端没有收到来自服务器的某个数据段

    服务器端抓包确认问题原因
   
    1.查看服务器端是否收到客户端的带有SACK选项的ACK报文
    
    

 
    
    2.查看服务器端是否重传了客户端未收到的数据段
    
    

 
    
    3.通过查看服务器给客户端传输数据的次序与序列号，我们可以看出服务器重传了客户端未收到的数据包
 

可能故障点
   
    通过前面的深入分析，我们可以知道，客户端由于没有收到某段来自服务器的数据，导致了在线电影视频的异常中断，但是客户端向服务器端发送看带有SACK选项的ACK报文，告知服务器端重传其未收到的数据段，服务器端收到了这个重传信息，也重传了客户端要求的数据段，但客户端还是未收到，可见，该故障与端系统无关，是中间系统导致的，接下来明确中间系统可能故障点：
    
    

 
    
    由于交换机丢弃数据包的可能性极小，因此，我们应该将分析的重点放在网关设备上
   
    抓包分析定位故障点
   
    首先，已经明确了是服务器发送给客户端的某个数据段被丢弃了，那么我们只需要在服务器、防火墙进出接口分别抓包，并做对比分析即可定位出是否是防火墙将数据包丢弃的，确认三个捕包位置分别如下：
    
   

 
    
    捕包工作的开展
   
    捕包位置已经定下来了，接下来就是如何以最简单便利的方式部署开展捕包工作了，在此，我们一般可以通过在防火墙两端链路上分别部署科来来完成抓包，但是在这个案例中，我们使用了一些防火墙的特点：中间设备自带命令行的捕包功能！
   
    在此两台防火墙均为天融信的，一个为老4000平台，另一个为TOS平台，两台均支持命令行下的tcpdump抓包功能，那么我们只需要直接在两台防火墙上抓包即可，无需对用户链路进行中断或更改。

 
    
    天融信防火墙，Cisco的PIX、ASA，F5负载均衡，netsreen的防火墙，网域防火墙等都带有捕包功能，能够满足我们一般的分析需要，合理利用这些中间设备的捕包功能，可以大大降低我们的部署难度，提高我们分析的效率

　　关于这些设备的抓包功能的使用在此不做详细介绍，有兴趣的可以私下沟通

　　客户端在线观看VOD服务器上的在线视频，同时在服务器、两台防火墙上分别抓包。　对比分析

    1.分析服务器端的包，定位丢弃的包

 　2.确定被丢弃的包的IP标识为28232
   
    3.通过IP标识，在防火墙上抓取的数据包中查找相应的IP标识的数据包
    
    

 
    
    我们分析这个防火墙上抓取的数据包，可以发现：
   
    防火墙从ETH6口接收了这个IP标识为28232的数据包，并从ETH0口转发了这个数据包，防火墙没有丢弃这个包，同样的分析方法，我将两台防火墙都排除在外！
   
    交换机主要功能为数据转发，其丢弃数据包的可能性是很小的，我们决定重新理一下网络拓扑，发现在互联网防火墙与核心交换机之间还串接了1台IPS设备。

　　 在实际解决故障的时候，我们往往难以收集所有的信息，有时需要我们在分析的过程中不断的修正，这个过程往往都是很戏剧性的。
   
    定位IPS异常丢包
   
    通过在IPS进出接口间同时抓包，使用前面同样的方法即可定位是否为IPS丢包。

    在此不再详述，分析结果显示是IPS将数据包丢弃了。

    验证
   
    将IPS拿下来，测试在线视频，一切正常，验证了的确是IPS的原因导致的。

    技巧小结

    数据包分析法
    对比分析法
    利用第三方产品抓包
    使用到的知识点
    通过SACK和TCP序列号定位丢失的数据包
    通过IP标识判断同一数据包
   
    总结
   
    在分析解决一些疑难杂症时，我们灵活运用科来网络分析系统，结合一定的协议基础，就可以大大提高我们解决故障的效率！

欢迎访问最专业的网吧论坛,无盘论坛,网吧经营,网咖管理,网吧专业论坛 https://bbs.txwb.com 关注天下网吧微信/下载天下网吧APP/天下网吧小程序，一起来超精彩