Advertisement

Hadoop 四大组件(总结)

阅读量:

Hadoop系统主要由四个核心模块构成,分别是:common、HDFS、MapReduce以及YARN。

common(工具类):

Hadoop 常用的工具类集合,源自原先的 Hadoopcore 模块并进行了名称调整。其中涵盖了系统配置工具 Configuration、远程过程调用 RPC、序列化机制以及 Hadoop 抽象文件系统 FileSystem 等核心组件。这些模块为在普通硬件架构上构建云计算平台提供了基础支持,同时为部署于该平台上的软件开发工作提供了必要的 API 接口。

  1. org.apache.hadoop.conf,涉及配置管理的相关类。
  2. org.apache.hadoop.fs,用于处理 Hadoop 文件系统的相关功能。
  3. org.apache.hadoop.io,与 Hadoop 输入输出系统相关的实现。
  4. org.apache.hadoop.ipc,涉及 Hadoop 远程过程调用的功能模块。
  5. 其他相关包,如 org.apache.hadoop.log 负责日志记录功能;org.apache.hadoop.metrics 提供度量统计与分析能力;org.apache.hadoop.http 和 org.apache.hadoop.net 则对网络层进行封装处理;而 org.apache.ha

全部评论 (0)

还没有任何评论哟~