BlockManagerMaster处理BlockManager的管理

文章目录

• 简介
• 创建
• 实现

• • BlockManagerMasterEndpoint

  • • 消息类型
    • 时序图

  • BlockManagerSlaveEndpoint

  • • 消息类型
    • 时序图

简介

该实例负责管理及协调其所属Executor上的相关事务；其执行的具体操作均依赖于特定的管理端点；位于Driver端的实例则负责统一协调其所属Executor内的所有相关事务；例如，在使用场景中；每当出现新的操作需求时；该模块会主动发起相应的数据交换指令；完成必要的状态更新及信息同步；在整体架构中，默认情况下各组件之间的交互均基于这一机制；其中每个 BlockManager 实例仅专注于管理其直接下属的 Block 资源

创建

在Spark环境配置中初始化了一个名为BlockManagerMaster的对象。
当构建BlockManager Master时，在Driver端生成了对应的块管理主客户端（即 BlockManager Master Endpoint）并将其注册到RPC服务环境中；而Executor则通过调用Driver端已有的块管理主客户端引用（即 Block-Master-Ref）来完成相关操作。这一做法旨在确保后续通信顺畅无阻。
接着，在Executo