Sort—Based Shuffle 源码分析
发布时间
阅读量:
阅读量
目录
- 数据混洗写入
- 数据混洗读取
ShuffleMapTask的处理结果(即ShuffleMapStage中FinalRDD所包含的数据内容)会被存储至磁盘,以便后续Stage进行数据获取。由此可见,整个Shuffle过程涵盖了前一Stage的数据混洗写入操作以及后一Stage的数据混洗读取操作。
全部评论 (0)
还没有任何评论哟~

ShuffleMapTask的处理结果(即ShuffleMapStage中FinalRDD所包含的数据内容)会被存储至磁盘,以便后续Stage进行数据获取。由此可见,整个Shuffle过程涵盖了前一Stage的数据混洗写入操作以及后一Stage的数据混洗读取操作。