什么是告警疲劳
告警疲劳是反复接触不需要行动的告警后逐渐丧失响应能力。响应者学会大多数呼叫都是噪音,于是不调查就确认、延迟响应或静音频道。代价在真实事故排在日常通知后面等待时才显现。疲劳是告警系统的属性,而不是响应者的性格缺陷。
如何积累
常见原因包括对原因而非症状告警、没有基线就设阈值、把每个服务的告警都路由到一个频道。多个工具产生的重复告警会放大数量。没有运行手册的告警迫使从零开始调查。责任缺口意味着没人删除过时检查。事故期间,相关告警风暴会掩盖最初的失败。结果是系统不断报告,却沟通很差。
基于症状和 SLO 的告警
对用户能感受到的东西呼叫:错误率、延迟和相对目标的饱和度。让仪表盘和工单承载详细原因。使用多窗口燃烧率,使短暂抖动不呼叫,而持续劣化会呼叫。把相关告警聚合成一个事故,按服务归属路由,并给每个呼叫附上运行手册链接和明确动作。与对每个 CPU 峰值告警相比,这种方法呼叫更少、含义更强。
卫生与文化
每月复审告警数量和有动作比例。对每条规则追问:它触发过吗?有人行动吗?用户会注意到吗?删除或降级从不导致行动的规则,跨工具去重。事故后检查告警是帮助还是阻碍,并记录发现。为每个轮换设置呼叫预算,超支视为缺陷。例如,对每次健康检查失败都呼叫的团队,很快就会忽略健康检查;而复审噪音告警并修复的团队,会建立“每次呼叫都值得关注”的信任。领导必须保护做这项工作的时间,否则疲劳会回来。