A/B 实验测试工作流

概述

实验的可信度取决于是否事先定好判据。中途窥视并因噪声提前停止会把偶然波动当作结论。先声明假设与唯一主指标、预先算好样本与时长、同时监控守护指标，再按既定标准决策，才能得到可依据的结果。

关键步骤

1. 声明假设与唯一主指标。
2. 事先计算所需样本与时长。
3. 避免窥视与因噪声提前停止。
4. 分析结果含守护指标并决策。

验证

• 达到预先登记的样本量。
• 守护指标在范围内。
• 决策遵循事先标准。
• 实验配置与结果归档。

决策点

不应因大幅提升而提前停止，未校正的顺序停止会抬高假阳性；主指标无变化但守护指标改善时仍可考虑发布。

适用范围

本条目围绕「A/B 实验测试工作流」给出可复制的步骤、验证方式与常见问题，适合需要按此流程落地的工程团队。执行时请结合自身上下文调整命令与阈值，并在变更前后留存证据，便于后续复核与回滚。

建议在正式环境落地前先在预发或隔离环境演练一遍，把关键观测指标与负责人一并记录，确保出现异常时能快速定位并恢复。

const variant = hash(userId) % 100 < 50 ? 'B' : 'A';
track('experiment_exposure', { experiment: 'checkout-cta', variant });