parquet文件是一种高效的大数据存储格式

Apache Parquet是Hadoop生态系统中任何项目均可使用的列式存储格式，而与选择数据处理框架，数据模型或编程语言无关。

Parquet格式的起源与发展

我们开发Parquet的初衷是让Hadoop生态系统内的所有项目都能够采用压缩且高效的列式数据表示方式。Parquet是全新设计的，充分考虑了复杂嵌套数据结构的特点，并借鉴了Dremel论文中所提出的记录粉碎和组装算法方案。我们认为这种设计相较于简单的扁平化处理嵌套名称空间的方式更具优势。

文件格式

请查阅此文档以掌握相关格式要求。

 4-byte magic number "PAR1"

    
 <Column 1 Chunk 1 + Column Metadata>
    
 <Column 2 Chunk 1 + Column Metadata>
    
 ...
    
 <Column N Chunk 1 + Column Met