Spark Shuffle其优化

Spark Shuffle机制解析

• Shuffle概览

  • Spark中涉及的四种Shuffle方式

  • • HashShuffle方式

    • • 未优化的HashShuffle方式
      • 已优化的HashShuffle方式

    • SortShuffleManager

    • • 常规运作方式
      • SortShuffleManager-bypass方式

  • Spark Shuffle源代码解析

  • • Shuffle写入过程

    • • Hash Shuffle写入
      • Sort Shuffle写入

    • 总结

    • Shuffle读取过程

  • MapReduce Shuffle与Spark Shuffle的比较分析

  • Spark RDD中所包含的Shuffle操作符

  • Spark Shuffle相关参数的优化调整

Shuffle概述

在MapReduce与Spark框架中均存在Shuffle机制。针对MapReduce架构而言，Shuffle充当了Map阶段与Reduce阶段之间的关键衔接环节，其功能是将Map阶段所获取的数据经过相应的Shuffle处理后，传输至对应的Reduce任务中，进而由Reduce执行后续的计算操作。关于MapReduc