13.8.5 系统层优化与资源限制（ulimit、tcp内核参数）

系统层优化的目标是为 HAProxy 提供充足的文件描述符、端口范围和网络栈资源，避免在高并发下出现“连接耗尽、TIME_WAIT堆积、SYN队列溢出”等问题。核心思路是提升进程级资源上限与优化 TCP 参数，使连接建立、保持与回收更高效。

原理草图（连接资源与内核参数关系）

1. 进程资源限制（ulimit）
HAProxy 大量使用套接字，必须确保文件描述符上限充足。
- 关键项：nofile（打开文件数）
- 建议：生产环境设置为 200000 或更高，取决于预期并发连接数

示例：查看与临时设置

# 查看当前会话的文件描述符上限
ulimit -n

# 临时设置（仅对当前 shell 生效）
ulimit -n 200000

示例：永久生效（limits.conf + systemd）

# /etc/security/limits.conf
haproxy soft nofile 200000
haproxy hard nofile 200000

# systemd 覆盖配置
mkdir -p /etc/systemd/system/haproxy.service.d
cat >/etc/systemd/system/haproxy.service.d/limits.conf <<'EOF'
[Service]
LimitNOFILE=200000
EOF

# 重新加载并重启
systemctl daemon-reload
systemctl restart haproxy

预期效果
maxconn 上限不再被 FD 限制，避免日志出现“too many open files”。

2. 端口与连接回收优化
高并发反向代理会产生大量短连接，需优化端口复用与 TIME_WAIT 处理。

示例：sysctl 配置与应用

# /etc/sysctl.d/99-haproxy-tcp.conf
net.ipv4.ip_local_port_range = 1024 65535
net.ipv4.tcp_fin_timeout = 15
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 0

# 使配置生效
sysctl --system

命令解释
- ip_local_port_range：扩大可用临时端口
- tcp_fin_timeout：缩短被动关闭等待
- tcp_tw_reuse：允许 TIME_WAIT 复用
- tcp_tw_recycle：禁止，避免 NAT 异常

3. TCP 队列与握手优化
提升并发下的连接接受能力。

示例：SYN 与 listen 队列调优

# /etc/sysctl.d/99-haproxy-queue.conf
net.core.somaxconn = 65535
net.ipv4.tcp_max_syn_backlog = 65535
net.ipv4.tcp_synack_retries = 2

sysctl --system

配合 HAProxy：

# /etc/haproxy/haproxy.cfg
global
  maxconn 200000
defaults
  backlog 65535

4. 缓冲区与吞吐参数
适当提升网络缓冲区，提高大流量吞吐。

示例：缓冲区设置

# /etc/sysctl.d/99-haproxy-buffer.conf
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 65536 16777216

sysctl --system

5. 连接跟踪（启用防火墙时）
若启用 conntrack（iptables/nftables），需扩大表容量。

示例：conntrack 调优

# /etc/sysctl.d/99-haproxy-conntrack.conf
net.netfilter.nf_conntrack_max = 1048576
net.netfilter.nf_conntrack_tcp_timeout_established = 1200

sysctl --system

6. 验证与排错

验证命令与预期结果

# 查看 TCP 状态分布（TIME_WAIT、SYN_RECV 等）
ss -s

# 核心参数检查
sysctl net.core.somaxconn
sysctl net.ipv4.tcp_max_syn_backlog
sysctl net.ipv4.ip_local_port_range
ulimit -n

# 系统级文件描述符总量
cat /proc/sys/fs/file-max

常见排错：
- 现象： 日志出现 too many open files
原因： nofile 不足或 systemd 未生效
检查： systemctl show haproxy | grep LimitNOFILE
- 现象： 高峰期连接失败或 “listen queue overflow”
原因： somaxconn/backlog 太小
检查： netstat -s | grep -i listen
- 现象： 大量 TIME_WAIT 造成端口耗尽
原因： ip_local_port_range 小或 tcp_tw_reuse 未开
检查： ss -ant | grep TIME-WAIT | wc -l

练习
1. 将 nofile 调整为 200000，并验证 HAProxy 进程生效。
2. 模拟高并发（如 wrk 或 ab），观察 ss -s 中 TIME_WAIT 变化。
3. 将 somaxconn 与 HAProxy backlog 设置为 65535，比较连接失败率变化。
4. 启用 conntrack 后压测，观察是否出现 “conntrack table full”，并调整 nf_conntrack_max。