对速度告警,而不只是总量
月度预算是滞后指标,燃尽率告诉你它消失得多快。燃尽率 14.4 会在约两天内消耗 30 天预算,燃尽率 1 则需 30 天。在高燃尽率时告警,才能在还有时间行动时发现事故。
burn rate = observed error ratio / allowed error ratio
allowed = 1 - SLO
两个窗口
五分钟窗口能捕捉突然失败但噪声大,一小时窗口能捕捉持续问题但反应慢。要求两者都超过阈值,可以减少误报,同时仍能发现真实事故。再添加一个较慢、较低严重度的告警,用于几天内会耗尽预算的情况。
测试告警
注入受控失败率,确认告警在预期时间触发。测试恢复路径和静默行为。从未触发过的告警不能证明有效;每次发布都触发的告警会训练人们忽略它。
验证告警
预期结果:注入高于阈值的错误率后,快慢两个窗口都在预期时间内触发,恢复后告警按配置自动解除。检查告警负载包含 SLO、当前燃尽率、窗口和受影响服务,便于值班人员直接定位。