7.10.5 灰度发布与回滚策略

灰度发布是在不影响整体业务稳定性的前提下，将新版本逐步引入生产环境；回滚是灰度的反向保护机制。Nginx场景可结合 upstream 分组、权重、变量路由与 Header/URI 规则实现，确保新旧版本可控共存并支持快速回退。

原理草图（流量按规则分流与可回滚）：

灰度发布关键要点与策略：
- 明确灰度目标与范围：新特性验证、性能评估或配置变更，限定影响面与时间窗。
- 流量分配策略：按权重比例、特定 Header、Cookie、URI 前缀、IP 白名单或用户标签路由。
- 灰度观测指标：错误率、P95/P99 延迟、核心业务指标（下单转化等）、系统资源利用率。
- 版本一致性与会话保持：需要会话粘性时结合 ip_hash/一致性哈希或应用层会话共享。
- 变更冻结与审批：高风险时段禁止扩大灰度范围，设置逐步扩大门槛。

安装与环境准备（示例以 Ubuntu/Debian）：

sudo apt update
sudo apt install -y nginx
nginx -v

示例一：按权重灰度发布（逐步放量）
配置文件路径：/etc/nginx/conf.d/gray.conf

# 新旧版本上游
upstream app_old {
    server 10.0.0.11:8080 weight=9;
    server 10.0.0.12:8080 weight=9;
}

upstream app_new {
    server 10.0.0.21:8080 weight=1;
    server 10.0.0.22:8080 weight=1;
}

# 通过分桶实现 10% 流量进入新版本
split_clients "${remote_addr}${request_uri}" $gray_bucket {
    10%  "new";
    *    "old";
}

map $gray_bucket $backend {
    default app_old;
    "new"  app_new;
}

server {
    listen 80;
    server_name example.com;

    location / {
        proxy_set_header Host $host;
        proxy_pass http://$backend;
    }
}

检查与发布：

sudo nginx -t
sudo systemctl reload nginx

预期效果：约 10% 请求进入 app_new，其余进入 app_old。

示例二：按 Header/Cookie 指定用户灰度

map $http_x_gray $backend {
    default app_old;
    "on"   app_new;
}

server {
    listen 80;
    server_name example.com;

    location / {
        proxy_pass http://$backend;
    }
}

客户端请求示例：

curl -H "X-Gray: on" http://example.com/

预期效果：带 X-Gray: on 的请求进入新版本。

示例三：按 URI 前缀灰度（功能开关）

map $uri $backend {
    default      app_old;
    ~^/beta/     app_new;
}

server {
    listen 80;
    server_name example.com;

    location / {
        proxy_pass http://$backend;
    }
}

预期效果：访问 /beta/ 前缀进入新版本。

回滚策略与自动触发（示例流程）：
- 配置级回滚：将 $backend 统一指向旧版本，保留历史配置。
- 应用级回滚：回退容器镜像或包版本，保证依赖与配置兼容。
- 自动回滚条件：错误率、超时率、关键指标跌破阈值，触发全量回退。

配置级回滚（立刻全量切回旧版本）：

# 直接将 map 固定为旧版本
map $backend_force $backend {
    default app_old;
}

发布与验证：

sudo nginx -t && sudo systemctl reload nginx
curl -I http://example.com/

日志与监控检查（灰度观测必做）：

# 查看 5xx 错误比例
awk '$9 ~ /^5/ {c++} END{print "5xx:",c}' /var/log/nginx/access.log

# 实时观察 upstream 的响应状态
tail -f /var/log/nginx/access.log

常见排错与处理：
1) 发现新版本错误率高
- 现象：access.log 中 5xx 增多，监控告警。
- 处理：立即回滚 map 到旧版本并 reload，定位应用日志。

2) Nginx 配置错误导致 reload 失败
- 现象：nginx -t 报错。
- 处理：回退配置文件版本，确保语法正确后 reload。

sudo nginx -t
sudo cp /etc/nginx/conf.d/gray.conf.bak /etc/nginx/conf.d/gray.conf
sudo systemctl reload nginx

3) 灰度分流不均匀
- 现象：实际比例偏离预期。
- 处理：确认 split_clients 输入稳定且足够离散；可用 $remote_addr$request_uri 组合。

回滚演练建议（可纳入例行演练）：
- 模拟新版本 5xx 升高，触发人工/自动回滚。
- 验证回滚路径可用、回滚时长满足 SLA。

练习：
1) 将权重从 10% 调整为 30%，并验证访问比例变化。
2) 增加基于 Cookie 的灰度策略（如 gray=1 进入新版本）。
3) 编写脚本自动检测 5xx 比例，超过阈值立即切回旧版本并记录日志。