分布式文件系统HDFS的原理
发布时间
阅读量:
阅读量
即分布式文件系统即为基于网络架构下将文件分散式存储于多台主机上的系统!通常情况下,则是以客户端和服务器为中心的架构来实现这一功能。
分布式文件系统的结构
如图所示,在物理架构上分布式文件系统由计算机集群中的多个实体构成。这些实体主要分为两类:一类为主名 nodes(名称节点),另一类为 Data nodes(数据节点)。其中 NameNode 主要承担着文件及目录创建、删除与重命名等功能,并且负责管理 Data node 与存储区块之间的映射关系。因此只有通过NameNode才能确定所需具体位置的信息进而定位至相应位置获取所需数据块。Data node 则主要完成数据存储与读取两大任务:在接收数据时由 NameNode 自动分配给该 Data node 存储空间;而当进行数据读取操作时,则会根据当前状态动态分配资源以满足需求。此外,在故障恢复过程中还需要特别关注的是对冗余副本的数据维护工作是否到位
另外补充一点,在大多数操作系统中,默认情况下文件系统是以512字节作为磁盘存储单元来组织和管理数据的。这些磁盘存储单元构成了文件系统的最低限度单位——即所谓的"最小可操作单元"(FAT)。此外,在传统的文件系统架构中,默认情况下每个磁盘存储单元会被划分为若干个较小的子单元——即所谓的"扇区"或"分区"(sector)。需要注意的是,在这种架构下,默认情况下每个
全部评论 (0)
还没有任何评论哟~
