Advertisement

大数据-Hadoop-HDFS(二):HDFS数据读写流程

阅读量:

4.1 HDFS 写数据流程

4.1.1 剖析文件写入

客户端基于Distributed FileSystem模块向NameNode发起上传请求,并指示其将文件存入指定位置。NameNode则对目标文件及其父目录的存在性进行验证。

(2)NameNode返回是否可以上传。

(3)客户端请求第一个 Block上传到哪几个DataNode服务器上。

(4)NameNode返回3个DataNode节点,分别为dn1、dn2、dn3。

(5)该客户端利用FSDataOutputStream模块发起对dn1的数据上传请求。当dn1接收到此请求后会触发对dn2的操作。随后,系统会将控制传递给dn3,并完成与通信管道相关的设置。

(6)dn1、dn2、dn3逐级应答客户端。

客户端启动发送第一个数据块至dn1的过程(首先从磁盘读取数据并存储至本地内存缓冲区),随后按照逐包传输的方式进行处理:每当tn1接收一包数据时就立即转发至下一层节点(例如,dn2),而接收方一旦处理完毕就会将结果反馈回当前层供后续数据使用;此外,每当tn1成功发送一包数据至下一层节点后,该节点

全部评论 (0)

还没有任何评论哟~