13.8.2 连接数与并发模型优化（maxconn、nbthread、nbproc）

在高并发场景下，HAProxy 的连接数与并发模型决定吞吐上限与延迟稳定性。优化围绕 maxconn、nbthread、nbproc 三个参数展开，并必须与系统限制、文件描述符和内核参数联动。以下内容包含原理草图、配置与命令示例、安装验证、排错与练习。

flowchart LR
  A[Client] --> B[Frontend]
  B --> C[Connection Pool]
  C --> D[Threads nbthread]
  D --> E[Process nbproc]
  E --> F[Backend Servers]
  B --- G[maxconn limits]

1. maxconn：连接上限与资源规划#

作用域与层级：
- global.maxconn：全局硬上限（影响进程总体连接数）
- frontend.maxconn：限制进入某前端的并发连接
- backend.maxconn / server maxconn：保护后端服务

配置示例（/etc/haproxy/haproxy.cfg）：

global
  maxconn 200000
  log /dev/log local0

defaults
  mode http
  timeout connect 5s
  timeout client 30s
  timeout server 30s

frontend fe_http
  bind :80
  maxconn 100000
  default_backend be_app

backend be_app
  maxconn 50000
  server app1 10.0.0.1:8080 maxconn 10000 check
  server app2 10.0.0.2:8080 maxconn 10000 check

命令解释与验证：

# 查看进程打开文件上限（必须 >= maxconn*2）
ulimit -n

# 查询 HAProxy 当前连接统计（需启用 stats socket）
echo "show stat" | socat /run/haproxy/admin.sock stdio | head -n 5
  • ulimit -n：文件描述符限制，过小会导致连接拒绝。
  • show stat：查看当前连接数、队列长度与拒绝计数。

2. nbthread：多线程模型优化#

原则：
- 设置为物理核心数或略少，避免过多上下文切换
- 适合高并发短连接
- 配合 CPU 亲和性减少跨核迁移

配置示例：

global
  nbthread 8
  cpu-map auto:1/1-8 0-7

验证命令：

# 查看线程数量
ps -L -p $(pidof haproxy) | wc -l

# 观察 CPU 使用情况
top -H -p $(pidof haproxy)

3. nbproc：多进程模型的使用场景#

注意事项：
- 多进程不共享会话/统计/粘性表
- 管理复杂度提升，仅在老版本或隔离需求时使用

配置示例：

global
  nbproc 4
  # 指定子进程（通常无需手动设置）
  process 1

排错提示：
- 发现统计面板数据“分裂”：检查是否启用了 nbproc。
- 会话保持失效：多进程导致状态不共享，优先改用 nbthread。

4. 并发模型选择建议#

  • HAProxy 1.8+ / 2.x：优先 nbthread
  • 老版本：使用 nbproc + cpu-map（需评估状态一致性）
  • 混合模式：仅在超大规模且经过压测验证时使用

5. 配置联动与系统限制#

必查项与命令：

# 1) 文件描述符
ulimit -n
cat /proc/$(pidof haproxy)/limits | grep "Max open files"

# 2) 全局文件句柄
sysctl fs.file-max

# 3) 半连接队列与端口范围
sysctl net.core.somaxconn
sysctl net.ipv4.ip_local_port_range

建议值（示例）：
- ulimit -n ≥ global.maxconn * 2
- net.core.somaxconn ≥ 4096
- ip_local_port_range 足够宽（如 1024 65000）

6. 安装与快速验证#

安装（以 CentOS/RHEL 为例）：

yum install -y haproxy
systemctl enable --now haproxy

加载配置并验证语法：

haproxy -c -f /etc/haproxy/haproxy.cfg
systemctl reload haproxy
  • -c：仅校验配置语法
  • 预期输出包含 Configuration file is valid

7. 典型调优流程（带命令）#

  1. 基准压测：
wrk -t4 -c400 -d30s http://127.0.0.1/
  1. 逐步增大 maxconn，观察拒绝与排队：
echo "show info" | socat /run/haproxy/admin.sock stdio | grep -i conn
  1. 增加 nbthread，观察 CPU：
top -H -p $(pidof haproxy)
  1. 核查系统限制，防止“配置大、系统扛不住”：
ulimit -n
sysctl net.core.somaxconn
  1. 观察连接分布（stats 页面或 socket）：
echo "show stat" | socat /run/haproxy/admin.sock stdio | grep -E "fe_http|be_app"

8. 常见故障排查#

  • 报错：Cannot raise FD limit
  • 解决：提高 ulimit -n 与 systemd LimitNOFILE
  • 连接被拒绝 / 503 增多
  • 可能原因：maxconn 太小或后端 server maxconn 过低
  • CPU 飙高但吞吐不增
  • 可能原因：线程数过多、上下文切换过高

systemd 提升文件描述符示例：

# /etc/systemd/system/haproxy.service.d/limits.conf
[Service]
LimitNOFILE=400000

systemctl daemon-reload
systemctl restart haproxy

9. 练习#

  1. 将 global.maxconn 从 200000 调整到 50000，观察 show info 的连接计数变化。
  2. 将 nbthread 从 4 调整为 8，对比 wrk 压测的 QPS 和平均延迟。
  3. 人为降低 ulimit -n 到 4096，重启 HAProxy，记录出现的错误信息并修复。