BlockManager

文章目录

• 概述

  • BlockManager的初始化

  • BlockManager的注册流程

  • Master与Slave之间的消息类型划分

    • BlockManagerMasterEndpoint处理的信号类型
    • BlockManagerSlaveEndpoint响应的机制类型

  • BlockManager的存储实现

  • • DiskStore
    • MemoryStore

简介

在Spark框架中，默认配置下，默认情况下，默认模式下，默认设置下，默认工作流程下，默认运行时环境下的RDD-Cache、Shuffle-output以及broadcast的数据存储机制均采用了基于BlockManager的技术。该组件为系统提供了灵活的数据存储接口，并支持内存本地或文件本地两种类型。该组件采用主从架构设计，在主节点及其所有从节点上都部署了该组件。各个计算节点上的块信息会定期汇报至主节点下的块管理大师以实现统一协调。组件的主要功能包括读取与写入操作。支持本地与远程访问资源，并根据不同的需求选择使用内存空间、磁盘空间或是堆外空间作为操作基础。

当我们在处理一个rdd时选择了缓存策略（即缓存），在这一设计架构下（由cacheManager负责），数据也被整合到blockmanager中以供后续的任务执行使用。这样一来，