3.1.6 存储可靠性与一致性基础（缓存、写回、屏障）
3.1.6 存储可靠性与一致性基础（缓存、写回、屏障）#
存储可靠性与一致性是保证数据正确落盘与可恢复性的核心问题，涉及缓存层次、写回策略与写入顺序控制。Linux 在块层、文件系统与设备缓存之间提供多层机制来平衡性能与可靠性。
原理草图：写入路径与一致性控制点
缓存层次与风险点
- CPU/内存页缓存（Page Cache）：文件系统读写首先经过页缓存，写入可能延迟落盘。
- 块层缓存与合并：I/O 调度器可能重排请求，提升吞吐但改变写入顺序。
- 设备缓存（磁盘/控制器缓存）：硬件写缓存可提速，但断电时存在丢失风险。
- 持久介质：最终落盘位置，可靠性取决于介质与电源保护（BBU/PLP）。
写回与写穿
- 写回（Write-back）：先写缓存，异步落盘，性能高但有崩溃风险。
- 写穿（Write-through）：写入同时落盘或等待落盘完成，安全性高但性能下降。
- Linux 通过 sync/fsync/fdatasync 控制写回时机，文件系统也会定期触发回写。
屏障与写入顺序保证
- 写屏障（Write Barrier）：保证特定写操作先于后续写操作落盘，避免日志与数据乱序导致一致性破坏。
- FUA（Force Unit Access）：绕过设备缓存或强制设备将缓存刷写到介质。
- 文件系统日志：如 ext4、xfs 使用日志与屏障确保元数据一致性。
关键命令与示例
1) 观察脏页与回写策略（写回行为）
# 查看脏页比例与回写阈值
sysctl vm.dirty_ratio vm.dirty_background_ratio
# 临时调整（降低回写峰值，提升一致性但可能影响性能）
sudo sysctl -w vm.dirty_ratio=10
sudo sysctl -w vm.dirty_background_ratio=5
# 预期效果：系统更快触发回写，写入延迟下降，峰值写放缓
2) 强制落盘与验证写回
# 准备测试文件
dd if=/dev/zero of=/tmp/wb_test.dat bs=1M count=64 status=progress
# 强制刷盘
sync
# 使用 fsync 测试写回耗时
python3 - <<'PY'
import os, time
f = open('/tmp/wb_test.dat','ab', buffering=0)
t = time.time()
f.write(b'x'*1024*1024)
os.fsync(f.fileno())
print("fsync cost(ms):", int((time.time()-t)*1000))
f.close()
PY
# 预期效果：fsync 耗时反映设备与缓存策略
3) 查看文件系统挂载屏障参数
# 查看当前挂载参数（ext4/xfs）
mount | egrep ' ext4 | xfs '
# 示例：为 ext4 启用有序数据与屏障（常见默认）
# /etc/fstab 中类似
/dev/sdb1 /data ext4 defaults,data=ordered,barrier=1 0 2
# 重新挂载应用参数
sudo mount -o remount /data
4) 设备缓存与写缓存状态（需要 smartmontools）
# 安装（不同发行版）
# Ubuntu/Debian
sudo apt-get install -y smartmontools
# CentOS/RHEL
sudo yum install -y smartmontools
# 查看磁盘写缓存
sudo smartctl -g wcache /dev/sdb
# 预期效果：显示 Write Cache 是否启用
排错与验证
- 问题：断电后文件损坏或回滚
- 排查步骤：
1. 检查文件系统类型与挂载参数（barrier、data=ordered）。
2. 检查设备写缓存与是否具备断电保护（BBU/PLP）。
3. 观察 dmesg 是否存在 I/O 错误或写缓存被禁用的告警。
- 问题：fsync 耗时过高
- 排查步骤：
1. iostat -x 1 查看磁盘队列和写延迟。
2. cat /sys/block/sdX/queue/scheduler 查看调度器。
3. 评估是否过度依赖同步写；必要时通过应用层批量提交。
练习
1) 在测试分区分别使用 data=ordered 与 data=writeback 挂载，写入后模拟崩溃（仅测试环境），观察恢复差异。
2) 调整 vm.dirty_ratio，记录 fsync 耗时与吞吐的变化趋势。
3) 使用 smartctl 检查不同磁盘的写缓存状态，并记录是否具备断电保护能力。