11.5.7 失效检测与脑裂防护要点

ZooKeeper 通过会话与心跳判断失效：客户端与服务器保持 session，定期发送 ping；当超过 sessionTimeout 未收到心跳，服务器判定会话失效并触发临时节点删除与 Watch 事件。服务器之间以 tickTime 驱动心跳与超时检测，超过 syncLimit × tickTime 未完成同步则判定失联并触发重新选举。

脑裂防护核心是多数派（quorum）机制：仅拥有过半投票权节点可形成有效集群并对外写入；少数派降级只读或不可用，避免双主写入。部署建议奇数节点跨故障域分布（3/5/7），并合理设置 tickTime、initLimit、syncLimit 降低误判。

# /opt/zookeeper/conf/zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/zk
clientPort=2181
server.1=10.0.0.11:2888:3888
server.2=10.0.0.12:2888:3888
server.3=10.0.0.13:2888:3888

命令示例：查看会话与节点状态（含解释）

# 进入客户端
/opt/zookeeper/bin/zkCli.sh -server 10.0.0.11:2181

# 1) 查看当前连接与会话信息
# 预期：显示 sessionid、timeout
stat

# 2) 创建临时节点并设置 Watch
create -e /tmp/session_node "alive"
get -w /tmp/session_node

# 3) 断开客户端（模拟会话失效）
quit

预期效果：客户端退出后，/tmp/session_node 被删除，Watch 触发事件（在另一个客户端可观察到）。

命令示例：检测Leader/Followers与选举次数

# 使用四字命令查看角色与选举信息
echo "stat" | nc 10.0.0.11 2181
# 关键字段解释：
# Mode: leader/follower
# Zxid: 当前事务ID
# Connections: 当前连接数
# Outstanding: 未完成请求数
# 如果 Mode 频繁变化，说明可能存在网络抖动或资源瓶颈

echo "mntr" | nc 10.0.0.11 2181 | egrep "zk_server_state|zk_election|zk_avg_latency|zk_followers"
# 预期：zk_server_state=leader/follower，zk_election 计数稳定

排错要点与步骤（含命令）

1) 选举频繁：检查网络丢包与延迟

# 检查延迟/抖动
ping -c 20 10.0.0.12
# 检查丢包统计
mtr -r -c 50 10.0.0.12

2) 心跳超时：检查系统负载与GC

# 观察CPU与GC停顿
top -H -p $(pgrep -f QuorumPeerMain)
jstat -gcutil $(pgrep -f QuorumPeerMain) 1s 5

3) 会话大量过期：检查 sessionTimeout 与客户端重试

# grep 过期日志
grep -E "Session expired|Expiring session" /opt/zookeeper/logs/zookeeper.out | tail -n 20

实操练习

1) 练习：模拟网络分区与脑裂防护
- 在3节点集群中，阻断1个节点到其他节点的2888/3888端口。
- 观察该节点是否降级为 looking 或 follower，并确保集群仍可写。

# 在被隔离节点执行（注意回滚）
iptables -A INPUT -p tcp --dport 2888:3888 -j DROP
iptables -A OUTPUT -p tcp --dport 2888:3888 -j DROP

# 观察状态
echo "stat" | nc 127.0.0.1 2181

# 恢复
iptables -D INPUT -p tcp --dport 2888:3888 -j DROP
iptables -D OUTPUT -p tcp --dport 2888:3888 -j DROP

2) 练习：调整超时参数并验证误判
- 将 syncLimit 从5调整为3，重启后压测观察是否出现选举次数上升。

# 修改配置
sed -i 's/^syncLimit=.*/syncLimit=3/' /opt/zookeeper/conf/zoo.cfg
# 重启
/opt/zookeeper/bin/zkServer.sh restart
# 验证选举次数
echo "mntr" | nc 10.0.0.11 2181 | grep zk_election

架构防护建议（配合示例）

跨地域部署建议添加 Observer 承载读流量，降低写端抖动影响。
保证 NTP 同步：

timedatectl set-ntp true
timedatectl status | grep "NTP synchronized"

以上示例可用于快速验证失效检测与脑裂防护机制是否生效，并为故障排查提供可执行操作路径。