← 中文资源

简体中文版本

事故复盘工作流

一周内做无责复盘,从告警与日志重建时间线,找出促成因素,并以负责人与日期跟踪行动。

阅读英文原文

无责且及时

一周内趁记忆新鲜复盘。定无责基调:目标是理解系统如何失败,而非追责。怕责的人会隐藏能防下次事故的细节。

timeline:
  10:01  alert: error_rate > 1%
  10:02  on-call acknowledged
  10:05  rollback started
  10:08  error_rate < 0.1%

找因素而非最后动作

每步问为什么。最后动作很少是唯一原因;工具、流程、代码都促成。列出使事故成为可能的每个条件。

行动有负责人与日期

每个因素写一条带负责人与日期的行动。无负责人的行动是空想。每月复审未完成行动直到清零。

验证

复盘含时间线、促成因素、带负责人与日期的行动,基调无责。外部事故公开让客户看到学习,其余内部。每月复审确认行动完成,避免静默滑过。