19.11.1 一体化运维平台落地路线与实施步骤

一体化运维平台落地以业务连续性与可观测性为主线，覆盖资产、配置、发布、监控、日志、权限、备份、成本等核心能力，并与中间件与容器平台联动。实施路线遵循“现状评估—目标蓝图—能力分期—落地迭代—治理运营”闭环，确保平台化成为流程、数据与组织协同的系统工程。

原理草图（统一入口与数据总线）：

实施步骤（含可落地示例）
1. 现状评估与需求澄清
- 指标采样示例（故障MTTR/变更失败率）：

# 统计近30天工单平均解决耗时（示例：从ops_ticket表）
mysql -hdb -uops -p'***' opsdb -e \
"SELECT ROUND(AVG(TIMESTAMPDIFF(MINUTE, created_at, closed_at)),2) AS mttr_min
 FROM ops_ticket WHERE status='closed' AND created_at>=NOW()-INTERVAL 30 DAY;"

解释：计算平均故障恢复时间，为后续平台化目标提供基线。

架构蓝图与技术选型
- 统一接口与数据模型示例（OpenAPI骨架）：

# /opt/ops/api/openapi.yaml
openapi: 3.0.0
paths:
  /cmdb/asset:
    post:
      summary: 新增资产
      requestBody:
        content:
          application/json:
            schema:
              $ref: '#/components/schemas/Asset'
components:
  schemas:
    Asset:
      type: object
      required: [name, type, env, ip]
      properties:
        name: {type: string}
        type: {type: string}
        env: {type: string}
        ip: {type: string}

解释：接口先行，保证多系统可扩展与可集成。

数据治理与资产统一（CMDB）
- 安装示例：以 NetBox（可替换为自研/其他CMDB）

# Ubuntu示例
sudo apt update
sudo apt install -y postgresql redis-server python3-venv git
git clone -b v3.6.0 https://github.com/netbox-community/netbox.git /opt/netbox
cd /opt/netbox
python3 -m venv venv
source venv/bin/activate
pip install -r requirements.txt
cp netbox/netbox/configuration.example.py netbox/netbox/configuration.py
# 配置数据库与Redis后初始化
python3 manage.py migrate
python3 manage.py createsuperuser
python3 manage.py runserver 0.0.0.0:8000

关键命令解释：
migrate 初始化数据库结构；createsuperuser 创建管理账号；runserver 试运行服务。
资产导入示例（CSV->API）：

curl -X POST http://cmdb.example.com/api/dcim/devices/ \
  -H "Authorization: Token <TOKEN>" \
  -H "Content-Type: application/json" \
  -d '{"name":"k8s-node-01","device_type":1,"role":1,"site":1,"status":"active"}'

自动化与编排落地
- 安装示例：Ansible 作为标准作业引擎

sudo apt install -y ansible
# 资产与分组
cat > /etc/ansible/hosts <<'EOF'
[nginx]
10.0.1.10
10.0.1.11
EOF

部署Nginx作业示例（与CMDB分组联动）：

# /opt/ops/playbooks/nginx_install.yml
- hosts: nginx
  become: yes
  tasks:
    - name: install nginx
      apt:
        name: nginx
        state: present
    - name: ensure nginx running
      service:
        name: nginx
        state: started
        enabled: yes

ansible-playbook /opt/ops/playbooks/nginx_install.yml

解释：标准化操作沉淀为可重复的作业，支持巡检/发布/扩缩容。

监控与可观测性接入
- 安装示例：Prometheus + Node Exporter

# Node Exporter
useradd -r -s /sbin/nologin node_exporter
wget https://github.com/prometheus/node_exporter/releases/download/v1.7.0/node_exporter-1.7.0.linux-amd64.tar.gz
tar -xf node_exporter-1.7.0.linux-amd64.tar.gz
cp node_exporter-1.7.0.linux-amd64/node_exporter /usr/local/bin/
cat >/etc/systemd/system/node_exporter.service <<'EOF'
[Unit]
Description=Node Exporter
[Service]
User=node_exporter
ExecStart=/usr/local/bin/node_exporter
[Install]
WantedBy=multi-user.target
EOF
systemctl daemon-reload && systemctl enable --now node_exporter

# /etc/prometheus/prometheus.yml
scrape_configs:
  - job_name: 'node'
    static_configs:
      - targets: ['10.0.1.10:9100','10.0.1.11:9100']

解释：统一指标入口，为告警、容量与SLO提供数据基础。

运营与持续优化
- 变更前置校验示例（发布平台钩子脚本）：

#!/bin/bash
# /opt/ops/hooks/pre_release_check.sh
set -e
systemctl is-active nginx >/dev/null
curl -sSf http://127.0.0.1/healthz >/dev/null
echo "pre-check ok"

解释：发布前自动校验降低变更失败率。

关键落地要点（带示例）
- 数据先行，流程同步：先打通资产、配置、日志数据主线再固化流程

# CMDB数据一致性校验（示例：对比实际主机清单）
for ip in $(cat /opt/ops/inventory.txt); do
  curl -s "http://cmdb/api/asset?ip=$ip" | grep -q "$ip" || echo "missing:$ip"
done

统一入口与角色分工：用SSO与RBAC统一权限

# 角色与权限绑定示例（伪代码）
role: release_manager -> perms: [release:create, release:approve, audit:read]

排错指南（常见问题与命令）
- CMDB API 访问 401：

curl -I http://cmdb/api/ | head -n1
# 检查Token是否过期、反向代理是否透传 Authorization

自动化作业失败：

ansible nginx -m ping -vvv
# 关注 SSH 认证、sudo 权限、Python 解释器路径

监控无数据：

curl -s http://10.0.1.10:9100/metrics | head
# 若无输出，检查 node_exporter 服务状态与防火墙端口 9100

验收标准（可量化指标）
- 变更失败率下降 ≥ 30%
- 故障 MTTR 下降 ≥ 40%
- 自动化覆盖率 ≥ 60%
- 资产一致性校验通过率 ≥ 95%
- 审计合规率 ≥ 99%

练习（动手实践）
1. 用Ansible为两台主机批量安装Nginx并输出版本号。
2. 在Prometheus中新增一个自定义业务指标采集，并配置一条阈值告警。
3. 设计一张CMDB资产表字段并实现API新增接口调用。
4. 编写一个发布前检查脚本，验证端口、配置语法与健康检查。