Data Analytics: Introduction to Hadoop 3.X installation and optimization (MapReduce)
发布时间
阅读量:
阅读量
大数据领域——Hadoop3.X基础搭建+安装与优化(1.入门)
大数据技术——掌握Hadoop 3.x的基础搭建 + 优化配置与调参技巧(第2章 HDFS)
文章目录
- 一、MapReduce概述
-
- 1.1 MapReduce定义
- 1.2 MapReduce优缺点
-
- 1.2.1 优点
- 1.2.2 缺点
以下是对原文的改写版本
-
第二章 软件架构设计
-
- 2.1 软件架构设计中的序列化概述
- 2.2 自定义的Bean类实现了Hadoop Writable接口
- 2.3 基于序列化的案例实操指南
-
-
三、MapReduce框架原理
-
-
3.1 输入数据格式
-
- 3.1.1 切片与并行度控制机制
- 3.1.2 Job运行流程代码解析
- 3.1.3 FileInputFormat的切片实现
- 3.1.4 TextInputFormat机制
- 3.1.5 CombineTextInputFormat的切片实现
- 3.1.6 CombineTextInputFormat案例解析
-
3.2 MapReduce工作流程
-
3.3 Shuffle机制
-
- 3.3.1
-
-
全部评论 (0)
还没有任何评论哟~
