Hadoop分布式文件系统--深入解析HDFS架构

前言

在Hadoop框架中，实际上已经实现了多个类别的文件系统，其中最为常用且核心的便是其分布式文件系统HDFS。然而，本文将不会涉及HDFS的主从架构等相关内容，因为这些信息在各类网络资源及专业书籍中已有详尽阐述。因此，我将基于个人学习过程中所获得的理解，探讨HDFS内部一些具有趣味性的内容，并以此作为起点，为后续进一步深入学习其各个模块奠定基础。

HDFS两大主流关系模块

• 与NameNode相关的功能主要涉及文件系统元数据的操作，涵盖文件目录结构、每个文件对应的数据块列表，以及在维护集群整体元数据过程中所使用的fsImage镜像文件和editlog编辑日志的相关处理。

  • 与DataNode相关的部分则聚焦于数据块与数据节点之间的映射关系，简单来说即明确某个数据块存储于哪些数据节点之中。该部分实际包含多种操作，例如数据块副本的复制、损坏数据块的清除、租约机制的应用等。

第一关系模块(NameNode相关)

涉及的类

INode

Hadoop在设计时也借鉴了Linux文件系统中i-node的概念，即索引节点。INode被定义为一个抽象类，其后衍生出的INodeDirectory与INodeFile均为其子类，这种结构有助于统一管理部分共性特征。

INodeDirectory与INodeFile结