浅析Hive架构

Hive架构原理解析

1．用户接口：Client

CLI（hive shell）、JDBC/ODBC（用于Java访问hive）、WEBUI（通过浏览器访问hive）

2．元数据：Metastore

元数据涵盖的内容包括：表的名称、所属数据库（默认为default）、表的所有者、列与分区字段、表的类型（是否为外部表）以及数据存储目录等；

其默认存储方式为内置的derby数据库，但建议采用MySQL作为Metastore的存储介质。

3．Hadoop

系统采用HDFS进行数据存储，并利用MapReduce完成计算任务。

4．驱动器：Driver

（1）解析器（SQL Parser）：负责将输入的SQL字符串转化为抽象语法树AST，该步骤通常借助第三方工具库实现，例如antlr；随后对AST进行语法层面的检查，如验证表是否存在、字段是否有效以及SQL语义是否正确。

（2）编译器（Physical Plan）：将生成的AST转换为逻辑执行计划。

（3）优化器（Query Optimizer）：对所得到的逻辑执行计划实施进一步优化处理。

（4）执行器（Execut