Hadoop分布式存储系统(HDFS)

文章结构概述

• • HDFS 的设计目标：

    • HDFS 的核心属性
    • 数据副本的选取机制
    • 元数据存储的磁盘异常问题
    • 数据暂存处理
    • 数据复制的流水线方式
    • 文件访问模式
    • 存储资源的释放机制
    • • 文件删除操作
      • 降低副本数量

  • 分布式文件系统架构

  • • 数据读取过程
    • HDFS 中的数据写入操作：

HDFS 目标：

1. 硬件错误在系统运行过程中属于常见现象而非特殊状况。
2. 流式数据的访问方式
3. 在HDFS中，一个标准文件的容量通常处于G字节至T字节之间
4. 文件访问遵循“写入一次、读取多次”的模型。
5. 文件在完成创建、写入并关闭后，其内容将不再发生变动。
6. “移动计算比移动数据更划算”——将计算任务迁移至数据所在位置，相较于将数据传输至应用程序所在位置更具优势。
7. 在不同软硬件平台之间的可迁移性
8. Namenode 和 DataNode
   基于master/slave架构进行部署。HDFS集群由一个Namenode以及若干数量的DataNodes构成。
   Namenode作为集群的核心服务器，承担着管理文件系统命名空间以及处理客户端对