CLICKHOUSE的数据仓库规范

数据仓库分层架构设计

数据仓库通常被划分为接入层、明细层、实体层、主题层以及应用层，各层级所存储的数据粒度存在差异。

接入层：主要负责存储接收到的原始数据，并为这些数据添加接收时间戳信息。

明细层：用于保存整合后的完整原始数据。

实体层：依据具体的业务实体构建出的宽表结构。

主题层：围绕特定业务主题进行数据汇聚形成的集合。

应用层：根据实际应用场景进行数据整合后的集合。

接下来将依次对各层级的数据表应用标准规范进行详细说明。

接入层

从源系统导入的数据，其格式与原始系统保持统一，并以增量方式定期插入。

（1）建表规范：

字段的基础数据类型应依据“select toTypeName({col}) from jdbc(‘{datasource}’,’select {col} from {table}’) limit 1”查询所得结果进行设定。

在表中新增入库时间字段odgTime，其数据类型为时间类型，用于与源数据库中的数据进行核对。

在创建表时对排序键的处理方式为：使用 C