告警降噪工作流

概述

告警噪声会稀释值班注意力，使真正的故障被淹没。按频率与可行动性排序、修复根因或降低非可行动告警的级别、把信息类告警移出呼叫通道、变更后复核呼叫量下降，可让每次呼叫都值得，进而恢复对告警的信任。

关键步骤

1. 按频率与是否可行动对告警排序。
2. 修复根因或降低非可行动告警的级别。
3. 把信息类告警路由出呼叫路径。
4. 变更后复核呼叫量下降。

验证

• 呼叫量下降。
• 剩余呼叫在复核期内均可行动。
• 信息类告警不再触发呼叫。
• 变更与原因有记录。

决策点

应尽量修复来源，抑制会掩盖日后重要的信号；呼叫应对用户可感知的症状，原因留给仪表盘。

适用范围

本条目围绕「告警降噪工作流」给出可复制的步骤、验证方式与常见问题，适合需要按此流程落地的工程团队。执行时请结合自身上下文调整命令与阈值，并在变更前后留存证据，便于后续复核与回滚。

建议在正式环境落地前先在预发或隔离环境演练一遍，把关键观测指标与负责人一并记录，确保出现异常时能快速定位并恢复。

# top pagers by count
awk '{print $3}' alerts.log | sort | uniq -c | sort -nr | head
# then review actionability for each