一次 Raft 选主异常的排查记录
三个节点的集群,十分钟内换了七次 leader。日志里全是 candidate 状态,选一轮失败再选一轮。
第一反应是网络分区。但三个节点之间互相 ping 都通,RTT 稳定在 0.3ms 以内,也不像丢包。
第二个怀疑对象是选举超时设置得太短。默认 150-300ms 的随机区间,在三节点小集群里通常是够的。我们设的是 200-400ms,也不算激进。
真正的问题在日志时间戳上。三个节点的系统时间差了 1.8 秒——其中一个跑了很久没同步时间,漂移累积到这个程度。Raft 的心跳和超时判断虽然用的是单调时钟,但我们的日志封装层用了墙上时间做超时判断。
把 NTP 同步修好之后,选主立刻稳定。教训是:协议实现里的每一次『现在几点了』,都要问清楚用的是哪个时钟。