← 中文资源

简体中文版本

三层架构(湖仓分层)

湖仓分层把数据湖组织为青铜、白银、黄金三级,逐层清洗、规范与聚合数据。

阅读英文原文

概念定义

青铜层保存原样接收的原始数据并附血缘元数据;白银层保存清洗、去重、规范后的实体并强制模式;黄金层保存面向报表与机器学习的业务级聚合与特征表。每一层都是一个契约边界:消费方享受本层的保证,并可在不重新抽取源的前提下从青铜层重新推导下一层。

为什么重要

如果在摄取阶段就清洗,日后调试某个转换时所需的原始证据就丢失了。把原始、清洗、聚合分层,意味着任一层都能从下层重建,可疑的白银规则可以在冻结的青铜数据上重放,每个消费方选择它真正需要的保证,而不必继承最弱的那一档。

如何运行

把数据原封不动地落入青铜层并记录血缘。用幂等、可重放的任务构建白银层,并像对待代码一样测试它。用声明式转换派生黄金层,使聚合在各报表间保持一致。在每次晋级时施加契约与质量检查,按层监控新鲜度,并设定保留策略以免青铜层无限增长。