← 中文资源

简体中文版本

服务中断分诊工作流

按用户影响定级,把诊断与沟通分开,用带时限的假设检验推进恢复。

阅读英文原文

目标

中断期间唯一的产品是恢复服务。按用户影响定级、把诊断与沟通拆成双轨、把每个恢复手段当作带时限的假设去检验——这三件事让响应在高压之下依然持续推进,而不是在慌乱中轮换各种手段却互不学习。

步骤要点

  1. 从外部信号(可用性、错误率、客服量)确认用户影响,数分钟内定级并指定事件指挥官。
  2. 双轨分工:诊断轨查“什么坏了、从何时起、变更过什么”,沟通轨按固定间隔更新状态页,各自独立有人。
  3. 先稳定后根因:优先尝试恢复杠杆——回滚、切换、关特性开关、限流,每个杠杆限时十分钟并声明预期信号变化。
  4. 同步检查影响半径:确认上下游受影响范围,防止在依赖故障下做切换等放大性动作。
  5. 用户信号持续回基线后收兵,事件记录归档并排期复盘。

排错提示

杠杆试了个遍却没有观察窗口是最差的模式,每试一招要等信号反应再下结论;指挥官一边诊断一边回客服消息说明双轨没建立,指定专人掌管沟通节拍;切换后二次故障常因未查影响半径在依赖故障上叠加动作,先画依赖图再做大动作。

适用边界

本流程以监控信号可见为前提,静默故障(数据错而不报错)需人工抽检补充发现;假设检验依赖信号基线明确,历史波动大的指标要先修基线再谈阈值。

代码示例

INC-2901  sev1  checkout unavailable  14:02Z
commander: oncall-lead    comms: support-lead

levers (time-boxed 10 min each):
  14:04 rollback v1.8.1 -> v1.8.0   err 78% -> 76%  (no)
  14:16 flag coupons=off            err 76% -> 31%  (partial)
  14:24 failover db-primary         err 31% -> 0.4%  (yes)

status page: 14:05 / 14:20 / 14:35 / 14:50 (fixed cadence)
recovery verified 14:24-14:54 (30 min sustained)
standdown 14:55, postmortem scheduled 10-23