Advertisement

Hive的拉链表和快照表

阅读量:

拉链表

拉链表用于记录某一对象从初始状态至当前状态的全部演变过程。借助该表,不仅能够获取当日的最新信息,还可以追溯其过往的历史数据。

在这里插入图片描述

拉链表的应用环境
在数据仓库构建过程中,数据模型设计时常会面临以下类型的表格结构:

  1. 某些表格的数据规模较大,例如用户信息表可能包含约10亿条记录和50个字段,即便采用ORC压缩格式,单张表的存储空间也可能超过100G。若HDFS中采用双备份或三备份策略,则占用空间将进一步增加
  2. 表格中的部分字段需要频繁执行更新操作,如用户的联系方式、商品描述信息、订单状态等
  3. 存在对特定时间点或时间段内历史快照信息的查询需求,例如查看某一订单在过往某个时刻的状态
  4. 数据记录的变化比例与频率相对较低,例如总共有10亿用户的情况下,每日新增或发生变动的用户数量约为200万

对于上述表格设计需求,拉链表能够同时满足获取最新数据以及根据筛选条件查询历史数据的要求。

在Hive中构建拉链表
当前Hive仅支持对表格进行删除和添加操作,并不支持直接更新。基于这一限制条件,我们来探讨如何实现拉

全部评论 (0)

还没有任何评论哟~