HDFS源码分析(三)-----数据块关系基本结构
发布时间
阅读量:
阅读量
前言
在HDFS系统中存在两个重要的数据关系模块。其中一个是文件与block之间的映射关系,通常称为第一层结构;而相比之下更为复杂的层次则是文件与其对应的data node之间的对应映射。值得注意的是,在第二层架构下还包含了许多精细的设计细节。具体来说,在每个file层面都会生成多个独立的block,并根据系统的冗余策略保留副本以提高可靠度;当集群规模扩大时,如何动态管理这些block与data node的关系自然变得复杂起来。name node还需要通过心跳机制持续更新关于各个data node及其相关的block列表信息以确保系统的稳定运行
相关涉及类
数据块关系中涉及的基本类其实不是很多,见如下:
Blocksmap--用于记录数据块与节点对应关系的数据结构,在系统架构中起到了关键作用。该类实现了对数据块与其所属文件节点之间的对应关系的详细记录,并提供了快速查找功能。
2.BlocksMap.BlockInfo--BlocksMap的内部类,保存了block的数据信息类.
DatanodeDescriptor表示为一种对数据节点进行抽象表示的方式,在该描述符中包含了与数据节点相关的各种变量信息。
DataNodeID与DatanodeInfo--基础数据节点类,继承自DatanodeDescriptor,在此处定义了节点的基本信息。
其中包含了两种
全部评论 (0)
还没有任何评论哟~
