数据仓库——Python版模型层级设计

数仓 —— 数据仓库模型层级设计

当我们谈到数据仓库时，我们可能会联想到与其相似的数据库系统。那么它们之间的主要区别体现在哪里呢？不同阶段的业务数据如何设计相应的数据仓库结构？采用数据仓库能够带来的哪些优势又是什么？

各个部门对数据模型有不同的层级划分，在具体实施中我们采用的是：ODS（操作数据层）、DWD（主题明细层）、DWS（主题聚合层）、ADS（应用数据层）、DIM（维度数据层）。

( 一 ) 数据仓库与数据库

( 二 ) 数据仓库层级设计

ODS层
紧邻于数据源的一层组织架构单元体,其主要承担以下职责:
1）在数据清洗环节,对过滤日志或上游传输中产生的异常记录进行初步去噪处理;
2）实施字段结构化处理,针对json等非标准格式的数据字段进行规范化处理;
3）制定原始数据留存策略,依据业务需求或系统规定留存历史备份片段以便于追溯分析。

2. DW层
   DW是数仓设计的关键层级，在该层次下又可划分为DWD（Data Warehouse Detail）、DWM（Data Warehou