高效排障：解析三种TCP丢包情况及实用处置指南

当业务系统遇到卡顿、缓慢、交易失败、偶发性故障等情况时，如何利用网络流量分析技术找到问题？

前序知识

1、通过“科来网络分析系统”捕获网络流量并进行分析

如图1，启动CSNAS，选择①“实时分析”选项卡，根据电脑上网实际情况，在②“网络适配器”中勾选当前使用的网卡，点击③“开始”启动分析，即可捕获本机实时产生的网络流量。

图1

配合使用交换机端口镜像技术，将核心交换机trunk端口的流量镜像到本机连接的交换机端口，即可捕获网络核心全部流量。

如果是通过其它流量捕获工具所捕获的网络流量，可以使用CSNAS的回放分析功能对网络流量进行回放分析。

2、如何找到发生故障业务的网络流量

图2

如图2，发生故障的业务是使用基于TCP的HTTP应用。选中①“TCP会话”选项卡，根据节点IP地址和端口来选择发生故障业务的②“单个TCP会话”，如果是回放分析还可以根据发生故障的时间对流量进行查找，通过③“数据流解码”区域可以分析客户端与服务器的HTTP基本交互情况，通过④可以观察到客户端与服务器之间的“数据流概要”。

3、TCP流分析视图

双击可打开图2中②“单个TCP会话”的“TCP流分析”视图（如图3）。

图3

图3中所示各区域释义：

① “TCP交易列表”可分析一个TCP会话中客户端与服务器之间每一笔数据传输的质量，包括处理时间、传输时间、空闲时间、请求/响应报文数量、传输字节数、比特率、TCP分段重传和丢失次数等内容；

② “TCP交易时序图”能够展示TCP会话过程中每一个报文的相对传输时间、报文间传输时间差、报文的传输顺序、报文负载长度、报文的序列号确认序列号等内容，是分析TCP疑难故障的实用区域；

③ “数据包解码”区域显示左侧选中报文的详细解码用于分析；

④“原始数据及解码”区域显示原始数据流用于分析。

在图3中可见②“TCP交易时序图”区域有一些红色的标记，我们称为“TCP异常流量标记”（以下简称“异常标记”）。

这些异常标记包括：“TCP之前可能有数据包丢失”、“乱序”、“重复ack”、“重传”、“虚假重传”等等，这些异常标记的含义是什么？如何通过不同的异常标记分析判断网络出了什么状况？这些状况如何处置？

本期为大家分享：

如何分析异常标记“TCP之前可能有数据包丢失”****

认识TCP交易时序图

图4

将图3中②的TCP交易时序图放大，如图4。

如图4，以①中的两个报文为例解释，“序号”表示在这个TCP会话中报文的捕获顺序分别为444、445，“相对时间”表示第444个报文相对于捕获这个TCP会话第一个报文的时间经过了1.611948000秒；时间差表示网络流量捕获点捕获序号444和序号445的报文之间经过了0.000014000秒，载荷长度表示序号444的报文TCP负载为252字节；

图4中②序号为447的报文箭头向左，表示该报文是由服务器向客户端发送，该报文的TCP 序列号Seq=2424586653，TCP确认序列号Ack=391300826，TCP载荷长度1460字节，经计算可得下一个报文的序列号即Next seq=2424588113，该报文标记为红色，起到“TCP异常流量标记”提示作用。括号中文字说明该异常标记为：“TCP之前可能有数据包丢失”（下面简称“可能丢包”），注意这个“可能”，并不意味着报文一定丢失了。

序号447的报文Seq=2424586653，Seq大于上一个服务器向客户端发送的报文（序号444）的Next seq=2424585193，被CSNAS统计为可能丢包。

在实践场景中，TCP分段丢失往往与报文传输乱序、分段重传等情况同时存在，因此异常标记“可能丢包”之后通常会跟有“乱序”、“重复ack”、“重传”等异常标记。

当看到“可能丢包”标记时，我们总结了以下几种常见情况及处置建议：

情况1：TCP报文传输乱序

图5

如图5所示，序号444的报文①Next seq=2424585193，序号447的报文②Seq=2424586653 > 2424585193，因此CSNAS统计“可能丢包”，序号451的报文③Seq=2424585193=①，因此被标记为“乱序”，说明该报文并未丢失，只是网络传输的顺序乱了。

情况1的根因及处置建议：

TCP交易时序图中出现上述情况，建议关注以下内容：

检查是否由于QoS整形策略导致部分报文被延迟转发，为关键应用流量调整QoS策略，尝试给予该队列更大带宽保障；

检查是否由于网络多路径负载导致了报文到达乱序，如果是二层链路聚合，应调整负载策略为基于源目IP+tcp port的负载方式实现同会话流量由相同端口转发。如果是三层转发路径负载，应检查转发设备的数据包转发负载策略是否相同流相同路径转发。如果是负载均衡设备，应检查负载策略是否同源同宿。

**情况2：**TCP分段丢失且被重传

图6

如图6，①序号456的报文Seq=2424591549大于同方向序号455的报文②Next Seq=2424589933因此被标记为“可能丢包”。③序号458、459的报文被标记为“重传”，传输的字节序列号对应了上述“可能丢包”的字节序列号，序号460的报文对上述字节进行了确认④Ack=2424591549。有关“重传”的异常标记原理我们另贴展开讨论。

情况2的根因及处置建议：

采集点只采集到了被重传的TCP分段，未采集到重传前的TCP分段，因此可以判定TCP分段丢失且被重传，TCP分段在报文到达采集点之前丢失。

TCP交易时序图中出现上述情况，建议关注流量采集点之前的网络设备及链路，通过部署多个采集点，采用二分法快速定位丢包点位。

情况3：镜像点丢包或转发乱序

在某些情况下，我们会看到CSNAS的异常标记“TCP ACK之前可能有数据包丢失”。这一异常通常标记意味着反方向的报文采集乱序或未被采集到，当预期的反方向下一个序列号小于当前确认序列号时设置。