spark SQL table parsing
发布时间
阅读量:
阅读量
完成文章撰写后,目录内容可自动创建,具体生成方式可参照右侧的帮助文档进行操作。
SPARK
- 引言
- 一、Spark SQL的运行机制
- 二、识别Spark SQL中的输入与输出表结构
-
- 1.添加相关依赖库
- 2.解析输入与输出表信息
前言
鉴于近期针对dolphinscheduler平台开展的二次开发工作,任务实例血缘关系的展示在特定场景下存在一定的需求与挑战:需对spark sql中涉及的所有任务的输入及输出表进行解析,因此有必要专门研究如何实现相关信息的提取。
提示:以下是本篇文章正文内容,下面案例可供参考
一、spark sql的执行过程
相关文献资料可参考以下链接:
https://www.cnblogs.com/ulysses-you/p/9762133.html;
二、提取sparksql的输入输出表
1.依赖引入与配置
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_2.11</artifactId>
<version>2.3.2</vers
全部评论 (0)
还没有任何评论哟~
