使用 iPerf 测试并排查 UDP 丢包问题

现象描述

使用高速通道打通同一个地域（Region）下的两台 VPC 网络类型的 ECS 实例后，通过 iPerf 测试两台实例内网之间 UDP 丢包率，测试带宽达到 50 Mbps 以上时出现了丢包现象，且随着带宽的增加，丢包率出现增长趋势。如下图：

问题分析

假设两台网络类型的 ECS 实例的私有 IP 为 VPC ECS A(192.168.104.235) 与 ECS B(10.182.83.13)，并用 Netcat（NC）监听并发送 UDP 数据封包，则网络类型的 ECS 实例 A 与实例 B 通信链路图如下：

其数据流走向为：

ECS A(192.168.104.235)-> NC 1(100.105.59.3)-> VGW(10.141.166.253)-> NC 2(100.105.59.9)-> ECS B(10.182.83.13)

我们需要对其链路进行排查分析，找出丢包的最终原因。

解决方法

注意：由于只看到了源 Netcat (即 NC 1) 和目的 Netcat (即 NC 2) 之前的通信，抓包排查要避免误区，即随意判断是 Netcat (NC) 之间的直接通信丢包。

1. 排查时会发现源端 eth0 的抓包发给了 VGW，但是在目的端抓包发现外壳封装了目的 NC 2 IP，如示例：

   1. [Time ] 17:32:07.130844 Point: `input `
   2. [ETHER] 24:4c:07:33:0e:02 -> 00:04:37:28:00:65, eth_type: 0x0800
   3. [IPv4 ] 100.105.59.3 -> 10.141.166.253
   4. proto: 17, ver: 04, ihl: 05, len: 1534, ident: 59824,R: 0, DF: 1, MF: 0, offset: 0, ttl: 60, chksum: 0xfe47
   5. [UDP ] sport: 46703, dport: 250, size: 1514, chksum: 0x0000
   6. [VxLan] debug_flag: 0, vlan_tag: 0, payload_type: 0, version: 1, tunnel_id: 1878597, tos: 0, tof: 0
   7. [IPv4 ] 192.168.104.235 -> 10.182.83.13
   8. proto: 17, ver: 04, ihl: 05, len: 1498, ident: 55469,R: 0, DF: 1, MF: 0, offset: 0, ttl: 64, chksum: 0xd50e
   9. [UDP ] sport: 36687, dport: 5001, size: 1478, chksum: 0xa0aa
   1. [Time ] 17:32:07.130854 Point: `output`
   2. [ETHER] 24:4c:07:33:0e:02 -> 00:04:37:28:00:65, eth_type: 0x0800
   3. [IPv4 ] 100.105.59.3 -> 100.105.59.9
   4. proto: 17, ver: 04, ihl: 05, len: 1534, ident: 59824,R: 0, DF: 1, MF: 0, offset: 0, ttl: 60, chksum: 0x0000
   5. [UDP ] sport: 46703, dport: 250, size: 1514, chksum: 0x0000
   6. [VxLan] debug_flag: 0, vlan_tag: 0, payload_type: 0, version: 1, tunnel_id: 2125861, tos: 0, tof: 0
   7. [IPv4 ] 192.168.104.235 -> 10.182.83.13
   8. proto: 17, ver: 04, ihl: 05, len: 1498, ident: 55469,R: 0, DF: 1, MF: 0, offset: 0, ttl: 64, chksum: 0xd50e
   9. [UDP ] sport: 36687, dport: 5001, size: 1478, chksum: 0xa0aa

2. 确认数据包通过 VGW 后，开始统计抓包信息:

   扫描二维码关注公众号，回复： 1469643 查看本文章
   • ECS A 通过 iPerf 打 UDP 流量：iperf -c 10.182.83.13 -u -b 600m
   • ECS B 通过 iPerf 接收：iperf -u -s

3. 在实例内部抓包。

   • ECS A：sudo tcpdump -w ~/client.pcap -n -i eth0 src host 192.168.104.25 and src port 1234
   • ECS B：sudo tcpdump -w ~/server.pcap -n -i eth0 src host 192.168.104.25 and src port 1234

4. 在两个 NC eth0 处抓包。

   • NC 1：sudo houyi-tcpdump -w /apsara/i-6we6pnh19n2q7srkgomd.pcap -nnK -i eth0 udp and src inner_port 1234 and dst inner_host 10.182.83.13
   • NC 2：sudo houyi-tcpdump -B 4096 -w /apsara/i-6we53i9h3ducbju5rmuw.pap -nn -i eth0 udp -K and src inner_host 192.168.104.235 and src inner_port 1234

5. 在 ASW 和 LSW 部署流统。

   100.105.59.3:46728 -> 10.141.166.253:250

   注意:由于目的端包外壳自动封装了目的 NC 1 IP，所以 VGW 端数据包的报文格式为：100.105.59.3:46728 -> 100.105.59.9:250。

6. 根据抓包结果分析。

   1. ECS A 丢包/发包：171/510203
   2. NC 1 eth0 发包：510204
   3. ASW 和 LSW 流统计出包：510204
   4. NC 2 eth0 收包：510204
   5. ECS B 收包：510204，capture 507442， dropped by kernel 2162

   以上分析定位到实例协议栈丢包，通过调整实例内部 UDP Buffer Sizes 来调整网络栈（Stack），默认的 UDF Buffer Size 为 212992（208 KB），您可以调整至 2097152（2 MB）。

   1. /proc/sys/net/core/rmem_default #默认的接收数据包内存大小
   2. /proc/sys/net/core/rmem_max #最大的接收数据包内存大小

7. 调整后测试 UDP 丢包情况。