← 中文资源

简体中文版本

混沌实验工作流

定义稳态假设,以可控爆炸半径注入故障,观察系统,SLO 违约即中止,使实验不伤用户。

阅读英文原文

先假设再注入

无假设的混沌实验只是故障。动手前把稳态写成指标与阈值,并写明将注入的故障。

hypothesis: error_rate < 0.1% during single-instance failure
failure: terminate one api instance
abort: error_rate > 0.5% for 30s

限制爆炸半径

只注入单实例或灰度切片,绝不整群。武装 auto-abort,SLO 违约即刻停止注入。实验须比其模拟的故障更安全。

观察再停止

每秒盯 SLO 仪表盘。稳态保持则记录胜利;auto-abort 触发则记录缺口并建跟进。绝不在注入运行时调试。

验证

注入已停止,SLO 恢复,实验日志含假设、结果与仪表盘快照。先在 staging 跑,auto-abort 验证后再进灰度切片。假设错误时建跟进而非现场修复,避免在第一次故障仍存活时引入第二次。