Advertisement

Data Analytics: Introduction to Hadoop 3.X installation and optimization (MapReduce)

阅读量:

大数据领域——Hadoop3.X基础搭建+安装与优化(1.入门)

大数据技术——掌握Hadoop 3.x的基础搭建 + 优化配置与调参技巧(第2章 HDFS)

文章目录

  • 一、MapReduce概述
    • 1.1 MapReduce定义
    • 1.2 MapReduce优缺点
      • 1.2.1 优点
      • 1.2.2 缺点

以下是对原文的改写版本

  • 第二章 软件架构设计

      • 2.1 软件架构设计中的序列化概述
      • 2.2 自定义的Bean类实现了Hadoop Writable接口
      • 2.3 基于序列化的案例实操指南
  • 三、MapReduce框架原理

      • 3.1 输入数据格式

        • 3.1.1 切片与并行度控制机制
        • 3.1.2 Job运行流程代码解析
        • 3.1.3 FileInputFormat的切片实现
        • 3.1.4 TextInputFormat机制
        • 3.1.5 CombineTextInputFormat的切片实现
        • 3.1.6 CombineTextInputFormat案例解析
      • 3.2 MapReduce工作流程

      • 3.3 Shuffle机制

        • 3.3.1

全部评论 (0)

还没有任何评论哟~