← 中文资源

简体中文版本

添加错误预算燃尽率告警

用多窗口燃尽率对错误预算的消耗速度告警,而不是等到月度 SLO 耗尽。

阅读英文原文

对速度告警,而不只是总量

月度预算是滞后指标,燃尽率告诉你它消失得多快。燃尽率 14.4 会在约两天内消耗 30 天预算,燃尽率 1 则需 30 天。在高燃尽率时告警,才能在还有时间行动时发现事故。

burn rate = observed error ratio / allowed error ratio
allowed = 1 - SLO

两个窗口

五分钟窗口能捕捉突然失败但噪声大,一小时窗口能捕捉持续问题但反应慢。要求两者都超过阈值,可以减少误报,同时仍能发现真实事故。再添加一个较慢、较低严重度的告警,用于几天内会耗尽预算的情况。

测试告警

注入受控失败率,确认告警在预期时间触发。测试恢复路径和静默行为。从未触发过的告警不能证明有效;每次发布都触发的告警会训练人们忽略它。

验证告警

预期结果:注入高于阈值的错误率后,快慢两个窗口都在预期时间内触发,恢复后告警按配置自动解除。检查告警负载包含 SLO、当前燃尽率、窗口和受影响服务,便于值班人员直接定位。