大数据开发笔记：什么是Hadoop

Hadoop介绍

狭义上Hadoop通常认为是Apache软件基金会开发的一款开源软件。 基于Java语言开发的开源项目旨在提供一种简单的编程模型供用户在多台机器上运行分布式计算处理海量数据。

Hadoop核心组件

- Hadoop HDFS（分布式文件存储系统）主要负责管理海量数据的存储与传输。
- Hadoop YARN（集群资源管理和任务调度框架）主要用于协调资源与任务的调度安排。
- Hadoop MapReduce（分布式计算框架）拥有强大的并行处理能力以执行大规模的数据计算任务。

官网
http://hadoop.apache.org

广义上Hadoop 指的是围绕Hadoop打造的 大数据生态圈

Hadoop发展简史

Hadoop 之父： Doug Cutting

• Hadoop源自Apache Lucene子项目中的Nutch组件。
• Nutch的主要目标是实现全面覆盖网络搜索引擎。
• 面临挑战：如何存储与索引海量网页的数据？

![](https://ad.itadn.com/c