先假设再注入
无假设的混沌实验只是故障。动手前把稳态写成指标与阈值,并写明将注入的故障。
hypothesis: error_rate < 0.1% during single-instance failure
failure: terminate one api instance
abort: error_rate > 0.5% for 30s
限制爆炸半径
只注入单实例或灰度切片,绝不整群。武装 auto-abort,SLO 违约即刻停止注入。实验须比其模拟的故障更安全。
观察再停止
每秒盯 SLO 仪表盘。稳态保持则记录胜利;auto-abort 触发则记录缺口并建跟进。绝不在注入运行时调试。
验证
注入已停止,SLO 恢复,实验日志含假设、结果与仪表盘快照。先在 staging 跑,auto-abort 验证后再进灰度切片。假设错误时建跟进而非现场修复,避免在第一次故障仍存活时引入第二次。