Advertisement

Sort—Based Shuffle 源码分析

阅读量:

目录

  • 数据混洗写入
    • 数据混洗读取

ShuffleMapTask的处理结果(即ShuffleMapStage中FinalRDD所包含的数据内容)会被存储至磁盘,以便后续Stage进行数据获取。由此可见,整个Shuffle过程涵盖了前一Stage的数据混洗写入操作以及后一Stage的数据混洗读取操作。

全部评论 (0)

还没有任何评论哟~