19.6.4 日志存储与冷热分层策略

日志存储与冷热分层策略的目标是在满足检索时效与合规留存的前提下，降低存储成本并提升整体性能。应依据日志价值、访问频率与保留周期进行分层设计，常见层级包括热存储（最近7～30天高频查询）、温存储（30～90天低频查询）与冷存储（90天以上长期留存与审计）。分层策略需与业务峰值、查询画像及审计要求匹配，确保关键日志可快速检索，历史日志可低成本长期保存。

文章图片

热存储建议采用高性能索引引擎与SSD，具备高吞吐写入与低延迟查询能力，保留完整索引；温存储可采用降配节点或低成本存储介质，保留必要索引或使用降采样；冷存储推荐对象存储或归档系统，按需构建索引或使用预计算清单，访问时通过回温或批量检索。数据生命周期管理需自动化实施，通过策略将日志从热到温、温到冷迁移，同时执行压缩、合并、去重与索引降级，以减少成本。

存储模型应包含分区与索引规划：以时间为主分区，辅以业务标签（应用、环境、机房、租户）进行路由；索引字段应最小化并聚焦常用查询条件，避免高基数字段无节制建索引。冷热分层中，热层保持完整字段与详细日志，温层可适度裁剪冗余字段与降采样，冷层保留原始日志文件与元数据清单，保证审计可追溯。

数据可靠性与可用性需贯穿全链路：热温层采用多副本或纠删码，冷热迁移过程使用幂等与校验机制确保一致性；冷存储启用WORM或不可篡改策略以满足合规。应结合备份与灾备策略，明确RPO/RTO，建立跨地域存储与定期抽检校验流程，确保长期留存可用。

成本治理与容量评估应基于写入速率、字段膨胀率、压缩比与索引开销进行测算，建立容量水位线与扩容预测。通过分层策略、索引治理、冷热回温规则、查询限流与缓存加速等手段，平衡查询体验与成本投入。持续监控存储利用率、检索命中率、回温次数与跨层查询比例，作为策略优化依据。

以下以 Elasticsearch 为例给出可执行的冷热分层实现示例（安装、配置、验证与排错）。

1）安装与节点角色配置（热/温/冷）

# 以 RockyLinux/AlmaLinux 为例
sudo yum install -y java-11-openjdk
curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.12.2-x86_64.rpm
sudo rpm -ivh elasticsearch-8.12.2-x86_64.rpm

# 热节点 /etc/elasticsearch/elasticsearch.yml
node.name: es-hot-1
node.roles: [ data_hot, ingest ]
path.data: /data/es-hot
cluster.name: log-cluster
network.host: 0.0.0.0
discovery.seed_hosts: ["10.0.0.11","10.0.0.12","10.0.0.13"]

# 温节点 /etc/elasticsearch/elasticsearch.yml
node.name: es-warm-1
node.roles: [ data_warm ]
path.data: /data/es-warm
cluster.name: log-cluster
network.host: 0.0.0.0
discovery.seed_hosts: ["10.0.0.11","10.0.0.12","10.0.0.13"]

# 冷节点 /etc/elasticsearch/elasticsearch.yml
node.name: es-cold-1
node.roles: [ data_cold ]
path.data: /data/es-cold
cluster.name: log-cluster
network.host: 0.0.0.0
discovery.seed_hosts: ["10.0.0.11","10.0.0.12","10.0.0.13"]

sudo systemctl enable --now elasticsearch

2）创建索引模板与ILM策略（热→温→冷）

# 创建生命周期策略 /data: 7天热、30天温、90天冷、180天删除
curl -X PUT "http://127.0.0.1:9200/_ilm/policy/log-ilm" -H 'Content-Type: application/json' -d'
{
  "policy": {
    "phases": {
      "hot": {
        "actions": {
          "rollover": { "max_age": "7d", "max_size": "50gb" }
        }
      },
      "warm": {
        "min_age": "7d",
        "actions": {
          "forcemerge": { "max_num_segments": 1 },
          "allocate": { "require": { "data": "warm" } }
        }
      },
      "cold": {
        "min_age": "30d",
        "actions": {
          "allocate": { "require": { "data": "cold" } },
          "freeze": {}
        }
      },
      "delete": {
        "min_age": "180d",
        "actions": { "delete": {} }
      }
    }
  }
}'

# 索引模板绑定ILM并指定字段与路由
curl -X PUT "http://127.0.0.1:9200/_index_template/log-template" -H 'Content-Type: application/json' -d'
{
  "index_patterns": ["logs-*"],
  "template": {
    "settings": {
      "index.lifecycle.name": "log-ilm",
      "index.lifecycle.rollover_alias": "logs-write",
      "number_of_shards": 3,
      "number_of_replicas": 1
    },
    "mappings": {
      "properties": {
        "@timestamp": { "type": "date" },
        "app": { "type": "keyword" },
        "env": { "type": "keyword" },
        "host": { "type": "keyword" },
        "message": { "type": "text" }
      }
    }
  }
}'

# 创建写入别名
curl -X PUT "http://127.0.0.1:9200/logs-000001" -H 'Content-Type: application/json' -d'
{
  "aliases": { "logs-write": { "is_write_index": true } }
}'

3）写入测试数据与验证迁移

# 写入测试日志
for i in {1..3}; do
  curl -X POST "http://127.0.0.1:9200/logs-write/_doc" -H 'Content-Type: application/json' -d"
  {\"@timestamp\":\"$(date -Is)\",\"app\":\"order\",\"env\":\"prod\",\"host\":\"10.0.0.$i\",\"message\":\"test log $i\"}"
done

# 查看索引状态与ILM进度
curl -X GET "http://127.0.0.1:9200/_cat/indices?v"
curl -X GET "http://127.0.0.1:9200/_ilm/explain/logs-000001?pretty"

4）冷存储归档（示例：S3 作为冷层对象存储）

# 使用仓库快照到S3作为冷存储归档
curl -X PUT "http://127.0.0.1:9200/_snapshot/log-s3" -H 'Content-Type: application/json' -d'
{
  "type": "s3",
  "settings": {
    "bucket": "log-archive",
    "region": "ap-northeast-1",
    "base_path": "es-snapshots",
    "compress": true
  }
}'

# 对温层或冷层索引做快照
curl -X PUT "http://127.0.0.1:9200/_snapshot/log-s3/logs-2024-01-archive?wait_for_completion=true" \
  -H 'Content-Type: application/json' -d'
{ "indices": "logs-2024-01*" }'

命令解释要点
- _ilm/policy：定义冷热分层与删除策略。
- rollover：按天/大小滚动生成新索引，控制热层大小。
- allocate：将索引迁移到指定角色节点。
- freeze：降低冷层资源消耗，适合低频查询。
- _snapshot：将历史索引归档到对象存储。

常见排错
1. 索引无法迁移到 warm/cold
- 检查节点角色与属性：
bash curl -X GET "http://127.0.0.1:9200/_cat/nodes?v&h=name,roles,ip,attr"
- 确认分配条件：
bash curl -X GET "http://127.0.0.1:9200/_cluster/allocation/explain?pretty" -H 'Content-Type: application/json' -d' { "index": "logs-000001", "shard": 0, "primary": true }'
2. ILM 卡在某阶段
- 查看ILM步骤与原因：
bash curl -X GET "http://127.0.0.1:9200/_ilm/explain/logs-000001?pretty"
- 检查只读或磁盘水位：
bash curl -X GET "http://127.0.0.1:9200/_cluster/settings?pretty"

练习
1. 将热层保留改为14天，并验证滚动后索引进入 warm。
2. 新增字段 tenant 为 keyword，比较新增索引前后磁盘占用。
3. 模拟冷层回温：将冷层索引重新分配到 warm 节点，比较查询延迟。
4. 对 100GB 历史日志做一次快照，记录耗时与对象存储成本估算。