Advertisement

Hive metastore的元数据管理

阅读量:

目录

  • Hive metastore表结构设计分析

Hive元数据存储的三种模式:

  1. 内置模式:元数据被存储于本地内置的Derby数据库内部,在这种设置下,Derby只能单独处理一个数据文件,并因此无法实现多会话连接。
  2. 本地模式:元数据存储于本地独立设置的数据库系统(如MySQL),从而允许同时进行多个连接。
  3. 远程模式:将元数据存储于远程独立设置的MySQL数据库中,并非必须让每个客户端都安装完整的MySQL系统。

三种配置方式区别:
内嵌模式采用了内置的Derby数据库来进行元数据存储,并且无需启动额外的Metastore服务。这种默认配置具有简便易行的特点,在实验环境中应用广泛;但其局限性在于仅允许单个客户端建立连接,在生产环境中可能无法满足高并发需求。
本地元存储与远程元存储均基于外部数据库实现元数据管理功能;两者的主要区别在于:本地元存储采用了与Hive进程共享的Metastore服务进行管理;而远程元存储则需要独立启用Metastore服务,并通过配置文件指定客户端与该服务的连接路径。值得注意的是,在远程架构中,默认情况下Metastore与Hive均运行于独立进程。

Metadata、Metastore作用:

  • 元数据即 metadata。元数据涵盖用 Hive 创建的 database 和 tabl

全部评论 (0)

还没有任何评论哟~