Spark kernel的SQL分析

阅读量：

目录

Spark SQL执行架构
- Catalyst全流程运作机制
- - 解析器
  - 分析器
  - 优化器
  - SparkPlan

Spark SQL运行架构解析

在Spark SQL进行数据分析的执行流程中，其处理过程主要包括以下几个阶段：首先进行语法解析，随后完成操作绑定，接着对执行策略进行优化，最后进入实际执行阶段。

复制代码

    1、sqlparser 生成 unresolved logical plan
    2、analyzer 生成logical plan
    3、optimizer 生成 optimized logical plan
    4、SparkPlanner 生成physical plan
    5、SparkPlan生成rdd
    6、最终将生成的rdd交给spark执行

在这里插入图片描述

从上图可以观察到，Spark SQL的解析流程包含以

全部评论 (0)

还没有任何评论哟~