MapReduce MapReduce基础知识整理（一）基础介绍部分、任务说明与并行度设计、数据切片方法分析

目录

• 1. MapReduce入门概述

  • 1.1 MAPREDUCE的基本概念
    • 1.2 MAPREDUCE的必要性分析
    • 1.3 MAPREDUCE编写规范

• 2. MapReduce程序的核心运行机制

• • 2.1 基本概念介绍

• 2.2 MapReduce程序的工作流程描述

• • 2.3 任务并行性影响因素分析
• • 2.4 数据块划分方法
• • 2.5 maptask任务执行中的并行性评估
• • 2.5.1 maptask任务参数配置策略探讨

• • 2.5.2 数据块划分代码的具体解析

    • 2.6 MapTask 并行度经验之谈
    • 2.7 ReduceTask 并行度决定机制

MapReduce

MapReduce

1. Mapreduce 入门

1.1 什么是 MapReduce

hadoop 的四大组件:

• HDFS: 分布式存储架构
• MapReduce: 分布式计算引擎
• YARN: 资源管理平台/调度框架
  Common: 这三大核心组件构成了Hadoop的底层支撑体系，并提供了基础工具包和RPC通信框架等支持功能。

MapReduce 是并行计算模型中的一种分布式运算程序设计范式。它是构建'基于 Hadoop 的大数据分析系统'的核心技术