磁盘块管理器

文章结构概览

• 简介
  • 建立
  • 核心成员
  • 主要作用
  • • 在本地系统中生成文件夹
    • 确定与BlockId相对应的文件存储路径
    • 检查BlockId所对应的文件是否存在于系统中
    • 生成临时存储Block数据的文件

简介

DiskBlockManager的核心功能是建立逻辑blocks块与物理磁盘位置之间的对应关系。每个逻辑block块均通过其唯一的BlockId标识，进而被映射至磁盘中的特定文件。这些block块所对应的文件按照哈希算法进行存储，并被放置在由spark.local.dir（或SPARK_LOCAL_DIRS）配置参数所指定的目录列表中。

创建

在DiskBlockManager的初始化过程中，系统将生成对应的BlockManager实例：

    val diskBlockManager = {
      // Only perform cleanup if an external service is not serving our shuffle files.
      val deleteFilesOnStop =
    !externalShuffleServiceEnabled || executorId == SparkContext.D