Hadoop 四大组件(总结)
发布时间
阅读量:
阅读量
Hadoop系统主要由四个核心模块构成,分别是:common、HDFS、MapReduce以及YARN。
common(工具类):
Hadoop 常用的工具类集合,源自原先的 Hadoopcore 模块并进行了名称调整。其中涵盖了系统配置工具 Configuration、远程过程调用 RPC、序列化机制以及 Hadoop 抽象文件系统 FileSystem 等核心组件。这些模块为在普通硬件架构上构建云计算平台提供了基础支持,同时为部署于该平台上的软件开发工作提供了必要的 API 接口。
- org.apache.hadoop.conf,涉及配置管理的相关类。
- org.apache.hadoop.fs,用于处理 Hadoop 文件系统的相关功能。
- org.apache.hadoop.io,与 Hadoop 输入输出系统相关的实现。
- org.apache.hadoop.ipc,涉及 Hadoop 远程过程调用的功能模块。
- 其他相关包,如 org.apache.hadoop.log 负责日志记录功能;org.apache.hadoop.metrics 提供度量统计与分析能力;org.apache.hadoop.http 和 org.apache.hadoop.net 则对网络层进行封装处理;而 org.apache.ha
全部评论 (0)
还没有任何评论哟~
