8.5.1 性能瓶颈识别与指标分析

本节围绕 Redis 性能瓶颈识别与指标分析展开，目标是建立“指标—现象—原因—验证”的定位闭环。通过监控与压测数据判断系统是否受限于 CPU、内存、网络、磁盘或请求模式，为后续优化与排障提供依据。

文章图片

1. 关键性能指标体系#

  • 吞吐与延迟：QPS、TPS、p50/p99 响应时间、命令执行耗时分布
  • 资源使用：CPU 使用率与上下文切换、内存使用与碎片率、网络带宽与丢包、磁盘 I/O 与延迟
  • Redis 内部指标：connected_clients、blocked_clients、used_memory、used_memory_rss、mem_fragmentation_ratio、instantaneous_ops_per_sec、keyspace_hits/misses、evicted_keys、expired_keys、rejected_connections

示例：采集关键指标（含命令解释）

# 1) Redis 内部指标
redis-cli INFO stats | egrep "instantaneous_ops_per_sec|keyspace_hits|keyspace_misses|rejected_connections"
# instantaneous_ops_per_sec: 当前QPS
# keyspace_hits/misses: 命中/未命中
# rejected_connections: 连接被拒绝次数

redis-cli INFO memory | egrep "used_memory|used_memory_rss|mem_fragmentation_ratio|maxmemory"
# used_memory: Redis分配的内存
# used_memory_rss: 进程实际占用
# mem_fragmentation_ratio: 内存碎片率

# 2) 系统资源
top -b -n 1 | head -n 5
vmstat 1 5
iostat -x 1 3
ss -s

2. 性能瓶颈快速识别方法#

  • CPU 受限特征：高 ops/s 但延迟升高，单线程 CPU 打满，热点命令集中
  • 内存受限特征：used_memory 接近 maxmemory、频繁淘汰、命中率下降
  • 网络受限特征：入/出带宽接近上限，客户端超时增加
  • 磁盘受限特征：AOF/RDB 触发时延迟抖动，fsync 导致阻塞
  • 客户端模型问题：连接数激增、短连接频繁、pipeline 未充分使用

示例：一条命令快速判断瓶颈

# 查看实例是否CPU受限：主线程高占用、ops下降、延迟升高
redis-cli INFO cpu | egrep "used_cpu_sys|used_cpu_user"
redis-cli INFO stats | egrep "instantaneous_ops_per_sec"
redis-cli LATENCY LATEST
# LATENCY LATEST输出有 spike 时常见于AOF/RDB或磁盘阻塞

3. 指标采集与诊断工具#

  • Redis 命令：INFO、SLOWLOG、LATENCY LATEST、CLIENT LIST
  • 系统级监控：top/htop、vmstat、iostat、ss/netstat
  • 可视化与告警：Prometheus + Grafana 指标面板、阈值告警设置
  • 压测与回放：redis-benchmark、业务流量回放

工具安装示例（Debian/Ubuntu）

sudo apt-get update
sudo apt-get install -y redis-tools sysstat procps iperf3
# redis-tools: redis-cli/redis-benchmark
# sysstat: iostat
# procps: top/vmstat
# iperf3: 网络带宽测试

工具安装示例（RHEL/CentOS）

sudo yum install -y redis sysstat procps-ng iperf3

采集示例：慢查询与客户端连接

# 查看慢查询
redis-cli SLOWLOG GET 10
# 启用更严格的慢查询阈值（单位微秒）
redis-cli CONFIG SET slowlog-log-slower-than 2000

# 查看连接情况
redis-cli CLIENT LIST | head -n 5
# 常用字段：addr=客户端地址, age=连接时长, idle=空闲时间, cmd=最后命令

压测示例：验证吞吐/延迟

# 4线程、每线程50并发、50万请求
redis-benchmark -h 127.0.0.1 -p 6379 -t get,set -n 500000 -c 50 -P 4
# -P 4: pipeline 4，观察延迟是否下降

4. 指标分析与因果验证#

  • 构建指标关联：延迟升高 → ops/s 下降 → CPU 100% → 热点 key/大 value
  • 观察时序变化：对比高峰期与低峰期指标差异
  • 验证假设：通过限制连接、迁移热点、关闭 AOF 对比性能变化
  • 识别非 Redis 侧瓶颈：客户端线程池、网络抖动、上游依赖不稳定

验证示例：怀疑 AOF fsync 造成延迟

# 1) 查看AOF相关状态
redis-cli INFO persistence | egrep "aof_enabled|aof_current_size|aof_last_write_status"

# 2) 临时改为每秒fsync（注意：影响持久化安全）
redis-cli CONFIG SET appendfsync everysec

# 3) 观察延迟
redis-cli LATENCY LATEST

验证示例：热点 key 排查

# 1) 统计慢查询中高频key
redis-cli SLOWLOG GET 128 | awk -F'"' '{print $2}' | sort | uniq -c | sort -nr | head

# 2) 对热点key进行抽样查看
redis-cli GET hot:key:1

5. 常见性能异常特征对照#

  • 命中率下降：keyspace_misses 上升，多级缓存策略需校验
  • 内存碎片高：mem_fragmentation_ratio 异常，需评估重启/内存整理
  • 慢查询激增：SLOWLOG 频繁出现，需审计命令与数据结构设计
  • 连接拒绝：rejected_connections 增多，检查 maxclients 与内核参数

排错示例：连接拒绝

# 1) 查看Redis层配置
redis-cli CONFIG GET maxclients

# 2) 查看系统层文件句柄
ulimit -n
cat /proc/sys/fs/file-max

# 3) 临时提升（示例）
sudo sysctl -w fs.file-max=200000
# 说明：maxclients受系统限制，需要同时提升系统文件句柄上限

排错示例：命中率下降

# 1) 计算命中率
redis-cli INFO stats | awk -F: '/keyspace_hits|keyspace_misses/ {print $1,$2}'
# 2) 若miss上升，检查是否过期策略过激或缓存穿透
redis-cli CONFIG GET maxmemory-policy

练习#

  1. 使用 redis-benchmark 对 GET/SET 各压测 10 万次，记录 QPS 与 p99 延迟。
  2. 将 slowlog 阈值调到 1000 微秒，制造 10 条慢查询并导出结果。
  3. 人为设置 maxclients 为 100，模拟连接拒绝并定位问题根因。
  4. 比较 appendfsync no/everysec 下的延迟变化并记录现象。