用 eBPF 追一次 TCP 重传风暴

2026-10-28

某天凌晨,一个长连接服务开始偶发 200ms 级别的延迟尖刺。指标上看不出问题:CPU 正常,内存正常,网卡带宽用了不到三成。

先看内核的 TCP 统计。tcpretrans 这个计数器在抖动的时间窗内涨得厉害,说明确实在重传。但重传意味着丢包,而链路的丢包率是零。

用 bpftrace 挂到 tcp_retransmit_skb 上抓了几个调用栈,发现重传的包几乎全是同一个连接的尾部小包。再往下看,是接收窗口被压到了很小。

真正的原因在应用侧:那个连接上有一次同步等待,把读取停了接近一秒。接收缓冲区填满,窗口归零,发送端只能靠探测包维持。恢复读取时窗口重新打开,积压的数据一次性涌出,看上去就像重传风暴。

结论是:TCP 层的异常,一半以上的根因在应用层。内核统计只告诉你症状,调用栈才告诉你现场。