源码分析与解析Livy项目

文章目录

• 简介

• • 任务路由

• 代码断任务的具体实施步骤如下：

• 在远程Driver上部署RPC服务器。

• 客户端向LivyServer提交需要执行的代码断命令。
  *Liv ySer v er将所接收到的任务请求转发给远程Driver上的RPC服务器。

• 饱远方Driver的RPC服务器接收并处理来自客户端的任务请求。

• 远程Driver将处理好的结果返回给客户端。

• 批次作业

  • 通过LivyServer平台接收批次作业
    • 生成相应的BatchSession来提交Spark应用
    • 生成相应的SparkYarnApp实例来管理远程的 spark 应用

简介

Livy是一个基于Spark的开源REST API服务，在其启动过程中将提交代码段或二进制数据至Spark集群以便执行。用户可以通过发送REST请求至Livy服务启动一个名为会话（session）的服务实例。每个会话都由完整的Spark集群构成，并通过RPC协议实现Livy服务端与Spark集群之间的通信。根据处理交互的方式不同,Livy将会话划分为两种类型:第一类为交互式会话（interactive session）。这与传统的 Spark交互处理机制一致,即在会话启动后即可接收用户的代码片段并将其编译执行于远程 Spark 集群上;第二类为批处理会