← 中文资源

简体中文版本

告警疲劳(Alert Fatigue)

告警疲劳是过量低质量告警造成的麻木,使响应者错过或延迟处理真正重要的信号,最终拖慢事故响应。

阅读英文原文

什么是告警疲劳

告警疲劳是反复接触不需要行动的告警后逐渐丧失响应能力。响应者学会大多数呼叫都是噪音,于是不调查就确认、延迟响应或静音频道。代价在真实事故排在日常通知后面等待时才显现。疲劳是告警系统的属性,而不是响应者的性格缺陷。

如何积累

常见原因包括对原因而非症状告警、没有基线就设阈值、把每个服务的告警都路由到一个频道。多个工具产生的重复告警会放大数量。没有运行手册的告警迫使从零开始调查。责任缺口意味着没人删除过时检查。事故期间,相关告警风暴会掩盖最初的失败。结果是系统不断报告,却沟通很差。

基于症状和 SLO 的告警

对用户能感受到的东西呼叫:错误率、延迟和相对目标的饱和度。让仪表盘和工单承载详细原因。使用多窗口燃烧率,使短暂抖动不呼叫,而持续劣化会呼叫。把相关告警聚合成一个事故,按服务归属路由,并给每个呼叫附上运行手册链接和明确动作。与对每个 CPU 峰值告警相比,这种方法呼叫更少、含义更强。

卫生与文化

每月复审告警数量和有动作比例。对每条规则追问:它触发过吗?有人行动吗?用户会注意到吗?删除或降级从不导致行动的规则,跨工具去重。事故后检查告警是帮助还是阻碍,并记录发现。为每个轮换设置呼叫预算,超支视为缺陷。例如,对每次健康检查失败都呼叫的团队,很快就会忽略健康检查;而复审噪音告警并修复的团队,会建立“每次呼叫都值得关注”的信任。领导必须保护做这项工作的时间,否则疲劳会回来。