spark app涉及的提交流程在集群模式下进行

spark app提交流程之Cluster模式

文章目录

• spark app提交流程之Cluster模式

  • 前言
  • 第二章 提交Spark应用
  • • 2.1 在hdp003节点部署application
    • 2.2 相应的Cluster执行代码将在后续段落中介绍

• 第二章 资源申请前期准备

  • 使用Java反射机制实现对YarnClusterApplication对象的访问
    • 调用YarnClusterApplication类中的start方法来执行服务启动流程
    • 创建合适的Client对象完成数据交互操作

• 第三部分：创建一个用于执行driver的container。

  • 第一部分：运行run方法。

    • 第二部分：提交应用程序的方法。

      • 第一部分：为启动容器上下文创建环境的方法。

        • 第一部分：确定amClass类的对象。

      • 3.2.2 createApplicationSubmissionContext方法

      • • 3.2.3 提交app到RM上。

    • 3.3 监控AM所在的container的运行状态。

• 四 知识管理大师（ApplicationMaster）

  • 第4步 启动主程序模块