Hive支持多种数据存储格式

文章结构概述

• Hive的数据存储形式

  • • 列式存储与行式存储

    • TEXTFILE类型

    • ORC类型

    • PARQUET类型

    • 主要文件存储格式的性能比较实验

    • • 1)TextFile
      • 2)ORC
      • 3)Parquet

    • 对存储文件进行查询速度的评估：

Hive数据存储格式解析

在实际的项目开发过程中，Hive表所采用的数据存储格式通常为ORC或PARQUET。压缩方式则多选用SNAPPY。Hive系统所支持的数据存储格式主要包括：TEXTFILE（行式存储）、SEQUENCEFILE（行式存储）、ORC（列式存储）以及PARQUET（列式存储）。

列式存储和行式存储

上图左侧展示的是逻辑表结构，右侧部分中第一个为行式存储方式，第二个为列式存储方式。

• 行式存储的特性： 当需要检索符合特定条件的整行数据时，行式存储仅需定位其中一个值，其余相关数值均存储于相邻位置；而列式存储则需分别在各