数据仓库分层及调用关系

数据仓库学习笔记11. 数仓分层与详细的数据类型对应关系：如下图所示：如下图所示：月层DWS据二层DM 轻用出工DD52KI据接人怎ODS 数据接入层：也可以称为操作数据层，与源数据基本相同。为确保数据 溯源或血缘分析时使用；DWD 数据明细层：将 ODS 层的数据根据规则经清洗、转换形成明细数据；DWS 数据汇总：汇总最新的较细粒度的数据，主要应用于单业务场景；DWM 数据集市层：形成主题域数据，主要应用于多业务场景；TMP 临时表：临时计算类的数据可通过 TMP 临时表进行计算；DIM 公共维表：公共的数据，如地理信息数据、城市名称数据等。2. 调用原则1. 禁止逆向调用2. 避免同层调用3. 避免跨层调用4. 优先使用公共层；3. 命名规范在构建数据仓库时，需要对各种数据表的命名制定统一的标准，以使见名知 意。需要制定规范的包括但不限于：表全称规范、字段命名规范、需求对接规范、 数据开发规范等。4. 支撑系统在建设数据仓库时，需要一些外围的支撑系统为数仓做支撑。主要的支撑系 统包括：调度系统、元数据管理系统、通用离线和实时计算系统、数据质量监控 系统等。元数据管理系统：定义元数据管理和使用的规范标准。主要功能包括： 表信息、字段信息、负责人、分区、血缘信息、代码标准、存储信息、热度、 权限和使用注意事项。