Hive涉及的分区表与分桶表

目录

• 1、分区表
  • • 1.1 定义
    • 1.2 应用环境
    • 1.3 构建分区表
    • 1.4 增加分区并导入数据
    • 1.5 移除分区
    • 1.6 动态分区相关内容

  • 2、分桶表

  • • 2.1 定义
    • 2.2 构建分桶表
    • 2.3 数据导入至分桶表

  • 3、分区表与分桶表的联合应用

1、分区表

1.概念界定与理论框架

• 在Hive系统中，表结构与HDFS上的特定目录相对应，当执行数据查询操作时，默认会扫描整张表，这将导致较大的性能损耗和时间消耗。
  • 分区功能对应于HDFS中表目录下的子目录，数据依据分区规则被存储在相应的子目录内。若查询语句的where条件中包含分区字段，则系统将直接定位到对应的分区进行检索，而无需对整个目录进行扫描。科学合理的分区策略能够显著提升查询效率与整体性能。

1.2使用场景

在实际操作过程中，当处理海量数据时，通常需要实施分区策略（多数情况下为静态分区），例如按照日期对日志文件进行划分，这不仅有助于提升管理效率，还能有效增强查询的响应速度。

1.3创建分区表

通过采用partitioned by(分区名 类型)语法可构建分区表。此类表格支持设置一个或多个分区字段，系统将依据这些字段中各不