数据质量阈值门禁工作流

目标

应基于可度量的数据质量阈值对管线阶段设门禁。本工作流为新鲜度、空值率、行数偏差等指标设定数值阈值，在发布前评估指标生成质量评分卡，硬性越界时暂停加载、软性越界时告警，并跟踪趋势以尽早发现缓慢劣化。

步骤要点

1. 为新颖度、空值率、行数偏差设定阈值。
2. 发布前评估指标并生成评分卡。
3. 硬性越界暂停、软性越界告警。
4. 跟踪趋势以尽早发现缓慢劣化。

# fail the load when freshness or null rate breaches
python check_quality.py --freshness-minutes 60 --null-rate-max 0.01 || exit 1

验证

按顺序执行上述步骤后，逐项确认每个步骤的预期状态均已满足；只有全部预期状态成立，才认为本流程完成。若某一步未达到预期状态，应先按排错提示排查，不要跳过继续，以免掩盖问题。

排错提示

• 无阈值会让坏数据上线。
• 关键指标仅告警会放行错误。
• 固定阈值忽略季节性。

适用边界

• 需基线指标与告警。
• 阈值应定期调整。