目标
用贴近真实的故障场景演练事件响应流程,让真正会参与响应的人练习升级、沟通和取舍,暴露决策与信息缺口,并把发现转化为有负责人和期限的改进行动。
步骤
- 选定一个来自服务目录或威胁模型的真实风险场景,写下三个可衡量目标,并明确不在范围内的内容。
- 编写按时间推进的注入清单,从模糊的客户报告开始,逐步升级到确认的重大事件:
09:00 注入 1 客服报告结账页面间歇性 502
09:10 注入 2 数据库 CPU 告警,但复制延迟正常
09:20 注入 3 第二区域健康,流量未切换
09:30 注入 4 支付服务商状态页宣布部分故障
09:40 注入 5 记者在社交媒体上要求置评
09:50 决策 发布状态页更新并切换流量
10:00 注入 6 故障切换成功,但队列积压增长
10:15 复盘 哪些有效、哪些失败、需要哪些改变
- 开始前说明无责原则、演练与真实事件的区别,以及暂停和停止信号,确认参与者知道如何中止演练。
- 按时释放注入,问“接下来会怎么做”而不是“应该怎么做”,记录决策、负责人和信息缺口。
- 演练结束后立即进行热复盘,收集哪些有效、哪些失败以及需要改变的地方,避免事后记忆失真。
- 把观察转成带负责人、期限和验证方式的行动,并为最高风险缺口安排复测。
验证
报告中的每个观察都对应有负责人和日期的行动;参与者认可时间线;复测已排期;如果演练暴露真实生产风险,已转入真实事件流程;未在演练中修改生产环境。
回滚
桌面演练没有不可逆的技术步骤,也不应在演练中修改生产环境。真正的不可逆风险在组织层面:如果发现被用来追责个人,下一次演练只会得到谨慎的回答。报告应以观察和系统缺口表述,不点名个人。若演练中发现正在发生的真实风险,立即停止演练并切换到真实事件响应;这是唯一需要中止演练的情况。会后归档注入清单和报告,并在下一次运营评审中跟踪逾期行动。