大数据技术原理与应用学习笔记 第3章 分布式文件系统HDFS

分布式文件系统HDFS概述

• 简介

  • 分布式文件系统

  • • HDFS设计目标
    • HDFS存在的不足之处

  • HDFS相关概念

  • • 数据块
    • HDFS核心组成部分
    • • 名称节点
      • 数据节点

  • HDFS架构体系

  • • 系统结构
    • 命名空间管理
    • 通信协议机制
    • 系统限制

  • HDFS数据存储机制

  • • 冗余策略
    • 存储流程
    • 数据读取方式
    • 数据错误检测与恢复机制
    • 数据读写操作
    • • HDFS数据读取流程
      • HDFS数据写入流程
      • 总结

  • HDFS编程应用实践

简介

全名为Hadoop Distributed File System，简称为HDFS。该系统旨在应对大规模数据的分布式存储难题。

分布式文件系统

随着大数据时代的到来，单一计算设备已难以承载庞大的数据量，因此需要借助集群系统实现数据的存储需求。

HDFS实