19.7.5 灰度发布与回滚策略

灰度发布与回滚策略的核心目标是在保持业务连续性的前提下逐步放量验证版本质量，并在发现风险时快速恢复。灰度必须与变更评审、发布窗口、监控告警联动，形成可度量、可审计、可恢复的闭环。

灰度发布模式与适用场景
- 用户维度灰度：基于用户ID、账号分群、地域、行业、付费等级分流，适用于C端与多租户。
- 流量比例灰度：按5%→20%→50%→100%放量，适用于接口级验证。
- 实例级灰度：选择少量实例发布，适用于无状态服务。
- 功能开关灰度：特性开关控制曝光，适用于风险功能。
- 蓝绿/影子流量：新旧并行，影子流量只观测不影响用户。

前置条件与关键点
- 发布包与配置均可回滚；数据库变更向后兼容。
- 监控指标（错误率、P95、业务指标）与告警阈值明确。
- 分流策略可追踪、可回溯；灰度阶段有稳定观察窗口。

安装与环境准备（示例：Nginx 灰度路由）

# 安装 Nginx（Ubuntu）
sudo apt update
sudo apt install -y nginx

# 验证
nginx -v
systemctl status nginx --no-pager

示例：Nginx 按比例灰度（50/50）

# /etc/nginx/conf.d/canary.conf
upstream app_stable { server 10.0.1.10:8080; server 10.0.1.11:8080; }
upstream app_canary { server 10.0.2.10:8080; }

# 灰度比例 50%
split_clients "${remote_addr}" $variant {
    50%     "canary";
    *       "stable";
}

server {
    listen 80;
    location / {
        if ($variant = "canary") { proxy_pass http://app_canary; }
        if ($variant = "stable") { proxy_pass http://app_stable; }
        proxy_set_header X-Gray $variant;
    }
}

# 应用配置并验证
nginx -t
systemctl reload nginx

# 预期：响应头包含 X-Gray=canary 或 stable
curl -I http://gateway.example.com/ | grep X-Gray

示例：Kubernetes 灰度与回滚（Deployment）

# 1) 发布新版本到 canary
kubectl set image deploy/myapp myapp=myapp:v2 --record

# 2) 灰度分流：通过两个 Deployment + Service 选择器
kubectl scale deploy/myapp --replicas=9
kubectl scale deploy/myapp-canary --replicas=1

# 3) 观察指标
kubectl top pods -l app=myapp
kubectl logs deploy/myapp-canary --tail=100

# 4) 扩大灰度
kubectl scale deploy/myapp-canary --replicas=3

# 5) 回滚
kubectl rollout undo deploy/myapp
kubectl rollout status deploy/myapp

回滚策略与执行要求
- 触发阈值：错误率>1%、P95延迟上升>30%、核心指标下滑>5%。
- 回滚路径：应用版本回滚、配置回滚、流量回切、数据补偿脚本。
- 回滚后验证：监控恢复、告警消除、业务指标回归。

数据库变更兼容示例（回滚友好）

-- 先加字段（兼容旧版本）
ALTER TABLE orders ADD COLUMN coupon_code VARCHAR(32) NULL;

-- 应用灰度发布后再使用字段
-- 回滚时无需删除字段，避免不可逆

排错清单（含命令）
- 灰度不生效：检查 Nginx 配置与 reload

nginx -t && systemctl reload nginx
grep -R "split_clients" -n /etc/nginx/conf.d

回滚失败：检查镜像与历史版本

kubectl rollout history deploy/myapp
kubectl rollout undo deploy/myapp --to-revision=3

指标异常误判：确认监控采集与标签

curl -s http://prometheus:9090/api/v1/query?query=rate(http_requests_total[5m])

练习
1. 使用 Nginx 配置 10% 灰度，验证 20 次请求的 X-Gray 分布。
2. 在 K8s 中将 canary 副本从 1 扩到 3，再执行回滚并验证版本。
3. 设计一个回滚阈值表，包含错误率、P95、业务指标与触发动作。