shuffle功能支持客户端使用

文章结构概述

• 简介
  • • UML类图
    • 构建流程

  • 实现

  • • ShuffleClient接口定义

    • 抽象类块传输服务BlockTransferService

    • 具体实现类NettyBlockTransferService

    • • 初始化阶段
      • • RPC服务RpcServer

    • 传输上下文TransportContext

    • RPC客户端工厂TransportClientFactory

    • Netty服务器TransportServer

      • 从远程节点获取shuffle文件
      • 将shuffle文件上传至远程节点

简介

【ShuffleClient不仅承担着将shuffle文件传输至其他Executor或从远程Executor获取文件至本地的功能，同时也为其他Executor提供可访问的shuffle服务。

Spark任务属于分布式计算模型，每个Task均在不同的设备上运行。当map任务完成执行后，其输出结果会被存储在当前运行任务的机器本地，并通过本地的MapOutputTrackerWorker向