Stage、任务的发送、资源与任务的调度、算子

Spark-stage、task发送、资源任务调度、算子

spark中job/stage/RDD/partition/task之间的对应关系

Tips:

``在一个application中，存在多个job，其数量由Action算子所确定，各个job按照顺序依次执行。

``每个job包含多个stage，而stage的数量取决于宽依赖的数量，这些stage同样按照顺序执行。

``每个stage内部包含多个RDD。

``每一个RDD由若干个partition组成，partition是计算空间中的最小单元，同时也是RDD的最小构成单位。

RDD是由分布于各个计算节点上的partition集合构成的。

同一数据源（即同一个RDD）所对应的各个partition在大小和数量上可能各不相同。

``每个stage中包含多个可并行执行的task，这些task用于处理数据的逻辑运算。

``每个task对应一个特定的partition。

task在内存资源充足时能够实现并行运行，而在内存资源不足的情况下则会转为串行执行方式。