spark app流程（客户模式）

spark app提交流程之Client模式。

文章结构概述

• Spark应用提交流程之Client模式。
  • 引言
  • 一、基于YARN的client模式提交应用

  • • 1.1 SparkSubmit的主方法

    • • 1.1.1 SparkSubmitArguments类

      • • 1.1.1.1 参数解析方法

      • 1.1.2 根据操作类型调用相应的方法

    • 1.2 SparkSubmit的提交方法

    • 1.3 SparkSubmit的运行主类方法。

    • • 1.3.1 首先执行准备提交环境的方法。

    • 1.4 prepareSubmitEnvironment方法

    • 1.5 doPrepareSubmitEnvironment方法

    • • 1.5.1 根据输入参数判断集群管理器
      • 1.5.2 明确部署模式
      • 1.5.3 汇总所有参数并映射至命令行相关参数
      • 1.5.4 确定子类主类名
      • 1.5.5 prepareSubmitEnvironment方法的返回结果

    • 1.6 获取JavaMainApplication对象

    • 1.6.1 利用反射机制调用应用程序的main方法。