TCP重传率高与传输延迟问题

排查步骤：TCP重传率高与传输延迟问题

v1.0

通过 rate(node_netstat_Tcp_RetransSegs[3m]) 排查 TCP 重传问题的步骤

1. 指标含义与初步分析

• 指标解释：node_netstat_Tcp_RetransSegs 表示 TCP 重传段的累计数量，rate(...[3m]) 计算过去 3 分钟内每秒平均重传速率。高重传率（如持续超过 100/s）可能由网络拥塞、丢包或连接不稳定导致。
• 阈值判断：结合历史基线数据，若重传率突增或持续高位，需进一步定位。

2. 关联指标排查

• 网络层指标：
  • 检查网络接口错误包：rate(node_network_receive_errs_total[3m]) 和 rate(node_network_transmit_errs_total[3m])，确认是否因硬件故障或驱动问题导致丢包。
  • 观察带宽利用率：rate(node_network_transmit_bytes_total[3m])，高负载可能引发拥塞。
• TCP 连接状态：
  • 监控连接数波动：node_netstat_Tcp_CurrEstab（当前 ESTABLISHED 连接数），连接数激增可能导致资源争抢。

3. 定位具体问题源

• 按实例/IP 筛选：

  topk(5, rate(node_netstat_Tcp_RetransSegs{instance=~"$target"}[3m]))
  

  确定重传集中在特定节点或服务 IP。
• 结合应用层指标：
  • 若使用 Kubernetes，通过 kube_pod_container_resource_limits 和 kube_pod_status_phase 检查 Pod 资源是否过载。
  • 调用链追踪（如 Jaeger）分析重传是否与特定服务调用相关。

4. 解决方案

• 网络优化：
  • 调整内核参数：降低 net.ipv4.tcp_retries2（默认 15）减少重试次数，但需权衡可靠性。
  • 优化 MTU 和 TCP 窗口大小：通过 ethtool 检查网卡配置，避免分片或窗口溢出。
• 应用层调整：
  • 设置合理的连接超时和重试机制，避免无效连接堆积。
  • 使用连接池减少短连接频繁建立/拆除的开销。
• 基础设施检查：
  • 通过 Prometheus Blackbox Exporter 对目标服务进行 TCP 探测，验证网络路径质量。

5. 验证与监控

• 部署修复后，持续观察 rate(node_netstat_Tcp_RetransSegs[3m]) 趋势。

---

v2.0

一、基础检查

1. 确认网络设备状态

   • 检查服务器网卡状态：ethtool <网卡名>，关注Errors和Dropped字段
   • 查看带宽使用率：nload或iftop，排除带宽占满问题

2. 检查TCP连接状态

   ss -s | grep retrans  # 查看全局TCP重传统计
   ss -ti  # 查看各连接RTT（round trip time）和重传次数
   

   若特定连接retrans值异常，需针对性分析（如高延迟的远程地址）

二、网络层分析

3. 路由与链路质量测试

   traceroute <目标IP>  # 定位路由跳数异常
   mtr --report <目标IP>  # 持续监测丢包率
   

   若中间节点丢包率>1%，需联系网络运营商排查

4. 抓包分析重传原因

   tcpdump -i <网卡> -w retrans.pcap 'tcp[tcpflags] & (tcp-syn|tcp-ack) != 0'
   

   使用Wireshark分析retrans.pcap，关注：

   • 重复ACK（快速重传触发）
   • 超时重传（RTO超过200ms）
   • 乱序包比例（tcptrace工具可量化）

三、系统配置检查

5. 内核参数调优
   检查关键参数（引用[3]相关配置）：

   sysctl net.ipv4.tcp_retries2  # 默认15次重传（建议5-8）
   sysctl net.ipv4.tcp_slow_start_after_idle  # 建议设为0（禁用慢启动）
   

   可添加至/etc/sysctl.conf：

   net.ipv4.tcp_retries2 = 5
   net.ipv4.tcp_slow_start_after_idle = 0
   

6. 防火墙与端口限制

   • 检查netstat -tnlp（引用[2]方法）确认端口监听状态
   • 验证防火墙规则：iptables -L -n -v，排除误拦截TCP报文

四、监控联动

7. 关联监控指标
   在Grafana（端口3000）中创建仪表盘，组合监控：

   rate(node_netstat_Tcp_RetransSegs[3m]) > 50  # 自定义阈值
   + 
   (probe_http_duration_seconds{phase="connect"} > 1)
   

   结合Alertmanager（端口9093）设置复合告警规则（参考引用[5]语法）

五、典型场景

现象	可能原因	验证方法
重传率高+RTT波动大	网络拥塞	查看tcptrace的拥塞窗口变化
固定目标IP高延迟	跨境链路问题	mtr测试国际路由节点
突发性重传	服务器CPU/内存过载	top检查系统负载

相关问题