Spark Submit Task Explanation, Broad-Narrow Dependencies, Operators

Spark任务提交、算子、RDD宽窄依赖、stage

一、任务提交流程与实施

Standalone提交机制解析

在任意包含压缩包的节点上，均可进行提交操作而无需进行配置

Standalone-client架构设计

1.命令

将生成的jar文件放置于spark的examples目录下，随后进入spark/bin目录，运行以下指令：

./spark-submit --master spark://node1:7077 --class 项目包名.obj名 …/examples/jars/jar包名 分配partition数量

./spark-submit --master spark://node1:7077 --deploy mode client --class 项目包名.obj名 …/examples/jars/jar包名 分配partition数量

2.原理流程图

3.特点与不足

a 在此运行模式下，每个Spark应用程序均配置有专属的驱动程序，当用户通过客户端提交n个应用