hdfs数据分析:FileSystem.get(conf)的深入解析
发布时间
阅读量:
阅读量
这些代码源自于我在观看hadoop视频时使用的工具与框架集合。文章内容基于视频讲解与个人理解进行整理与阐述,请有需要的朋友在使用过程中务必谨慎并及时反馈相关问题~
一.通过跟踪这段源码来探究hdfs的下载数据的源码分析。
其中包括程序如何利用读取的conf参数来获取fs实例的过程,在此基础上程序又如何通过RPC协议从name节点中提取元数据信息,并最终实现从data节点中获取所需的数据操作
跟踪代码如下:

跟踪进入FileSystem

为了从conf中获取前面代码中设置好的主机uri地址,并随后使用重载版本的get方法。
以下是重载的get方法内容:

获取scheme时返回的是hdfs地址;通过调
全部评论 (0)
还没有任何评论哟~
