Spark模型 Spark模型

Spark的内存管理机制

• 堆内和堆外内存

• • 堆内
  • 堆外
  • 接口

• 内存空间分配

• • 静态内存管理

  • • Execution的内存管理
    • Storage的存储管理

  • 统一内存管理

  • • 新的配置项
    • 如何应对内存压力
    • MemoryManager

• 存储内存管理

• • RDD的持久化机制
  • RDD缓存的过程
  • 淘汰和落盘

• 执行内存管理

堆内和堆外内存

基于JVM机制执行的任务中使用Executor进行内存处理。Spark采用了更为细致的空间划分策略，在堆内区域实现了更加高效的资源分配。通过引入堆外地址空间管理机制，在每个工作节点预留专用外存空间，并在此基础上提升了整体资源利用效率。

堆内

堆内内存的空间大小取决于Spark应用程序启动时指定的–executor-memory或spark.executor.memory参数设置。这些Executor中的并发任务共享同一个JVM空间