《大数据技术原理与应用》课程笔记：第2章 大数据处理架构（Hadoop）

大数据处理架构Hadoop

• Hadoop发展历程

• • Hadoop起源
  • Hadoop特点
  • Hadoop应用现状
  • 不同版本

• Hadoop的整体架构

  • 其完整的部署流程及应用实践
  • • 硬件配置方案规划
    • • 基于HDFS的数据存储系统构建
      • 核心组件为MapReduce的应用模式设计

Hadoop发展历程

Hadoop是apache软件基本会旗下的开源分布式计算平台。

主要原因在于该服务具有免费性质，并且在很大程度上降低了使用复杂度。它有效地隐藏了所有底层细节，并为用户提供了一个高层接口。

Hadoop支持多种语言：C++ Java Python

Hadoop的核心技术架构：
HDFS + MapReduce
分布式文件存储系统
并行计算框架
这两项核心技术实现了大规模数据的高效存储与处理能力。

国内外很多企业都在使用hadoop。

Hadoop起源

![在这里插入图片描述](https://cdl.itadn