Hadoop学习笔记（二）和HDFS

HDFS的设计目标

从上一篇文章的介绍中可以看出HDFS的本质是什么及其运行机制。它如何借助多副本机制实现高可靠性是我们需要关注的重点所在。我们能发现HDFS的设计目标主要体现在以下几个方面：

• 规模宏大的分布式文件系统
  • 基于经济实用的硬件运行
  • 具有高度可扩展性且能提供良好的存储性能的服务系统

HDFS的架构

请参考官方发布的文档（http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html）以熟悉HDFS的核心组件结构：

Introduction

该分布式文件系统专为运行在通用硬件上而设计，并与现有分布式文件系统具有许多相似之处；然而与其他分布式文件系统相比存在显著差异；该系统具有极强的容错能力，并旨在部署于低成本硬件上；该系统能够提供高吞吐量的数据访问并适用于处理大数据集的应用程序；通过放宽一些POSIX要求实现了对文件系统数据流访问的支持；最初是Apache Nutch网络搜索项目的基础架构；属于Apache Hadoop核心项目系列；

这一段是对HDFS基础的介绍。基于廉价硬件构建的分布式系统的Hadoop文件服务器与现有分布式系统有许多相似之处。然而，在此问题上存在差异性才是关键因素。**高容错且可在廉