数据血缘采集工作流

目标

应采集端到端血缘以支持影响分析与排查。本工作流让每个作业向血缘存储上报其输入与输出，使用一致的命名使血缘能跨团队解析，在上游变更前用血缘找出全部下游数据集，并在数据异常时逆推上游定位源头。

步骤要点

1. 让每个作业上报输入与输出的血缘边。
2. 使用一致命名使血缘可跨管线解析。
3. 变更上游前用血缘找出全部下游。
4. 数据异常时逆推上游定位源头。

# emit lineage from a job
datahub emit-lineage --in raw.orders --out curated.orders_enriched

验证

按顺序执行上述步骤后，逐项确认每个步骤的预期状态均已满足；只有全部预期状态成立，才认为本流程完成。若某一步未达到预期状态，应先按排错提示排查，不要跳过继续，以免掩盖问题。

排错提示

• 手工血缘会与现实漂移。
• 命名不一致会断图。
• 无血缘使影响分析全靠猜。

适用边界

• 需要血缘工具与命名规范。
• 敏感数据可用列级血缘。