目标
中断期间唯一的产品是恢复服务。按用户影响定级、把诊断与沟通拆成双轨、把每个恢复手段当作带时限的假设去检验——这三件事让响应在高压之下依然持续推进,而不是在慌乱中轮换各种手段却互不学习。
步骤要点
- 从外部信号(可用性、错误率、客服量)确认用户影响,数分钟内定级并指定事件指挥官。
- 双轨分工:诊断轨查“什么坏了、从何时起、变更过什么”,沟通轨按固定间隔更新状态页,各自独立有人。
- 先稳定后根因:优先尝试恢复杠杆——回滚、切换、关特性开关、限流,每个杠杆限时十分钟并声明预期信号变化。
- 同步检查影响半径:确认上下游受影响范围,防止在依赖故障下做切换等放大性动作。
- 用户信号持续回基线后收兵,事件记录归档并排期复盘。
排错提示
杠杆试了个遍却没有观察窗口是最差的模式,每试一招要等信号反应再下结论;指挥官一边诊断一边回客服消息说明双轨没建立,指定专人掌管沟通节拍;切换后二次故障常因未查影响半径在依赖故障上叠加动作,先画依赖图再做大动作。
适用边界
本流程以监控信号可见为前提,静默故障(数据错而不报错)需人工抽检补充发现;假设检验依赖信号基线明确,历史波动大的指标要先修基线再谈阈值。
代码示例
INC-2901 sev1 checkout unavailable 14:02Z
commander: oncall-lead comms: support-lead
levers (time-boxed 10 min each):
14:04 rollback v1.8.1 -> v1.8.0 err 78% -> 76% (no)
14:16 flag coupons=off err 76% -> 31% (partial)
14:24 failover db-primary err 31% -> 0.4% (yes)
status page: 14:05 / 14:20 / 14:35 / 14:50 (fixed cadence)
recovery verified 14:24-14:54 (30 min sustained)
standdown 14:55, postmortem scheduled 10-23