离线存储系统—数据仓库设计

离线数仓—数据仓库设计

• 引言

  • 一、数据仓库架构设计

  • • 1.数据仓库层级结构规划
    • 2.数据仓库搭建实施步骤
    • • 2.1 数据信息采集分析
      • 2.2 确定数据所属领域
      • 2.3 建立业务总线矩阵体系
      • 2.4 确定统计维度指标
      • 2.5 设计维度模型结构
      • 2.6 构建汇总模型框架

  • 三、各类表格同步机制的回顾

前言

在前述内容中已对数据仓库的基本概念进行了简要阐述，并掌握了与数仓建模相关的基础理论知识，接下来将着手进行数据仓库的具体设计工作。

一、数据仓库设计

1.数据仓库分层规划

如同构建Java Web系统需要采用MVC架构划分为三个层次，亦如计算机网络遵循五层协议结构，数据仓库的设计同样需要进行层级划分。每一层承担着不同的职责，所存储的数据内容也各不相同。

数据的流转始于HDFS，其后需依次经历五个层级：
第一层为ODS层 ：通过创建对应的Hive表，并利用load命令（即数据迁移操