Spark SQL：概述和操作应用

Spark SQL之：概述及操作应用

文章目录

关于Spark SQL的概述及其操作应用

一、Spark SQL概述

认识 Shark（即 Hive On Spark），它被定义为 SparkR（Spark 的关系数据库）。为了实现与 Hive 的兼容性（即 HiveOnSpark），Shark 在涉及的逻辑主要包括：对 HiveQL 解析以及相关的逻辑转换和优化措施。这些内容具体包括：对 HiveQL 解析以及相关的逻辑转换和优化措施；其中涉及了对 HiveQL 解析以及相关的逻辑转换和优化措施；其中涉及到的主要步骤是将 MapReduce 作业中的物理执行计划替换为 Spark 作业中的对应操作；通过借助 Hive 的 HiveQL 解析机制来完成这一过程；并最终实现了对 hive 学习曲线的支持。

(2) shark的设计引发了两个问题
**a. 优化执行计划的实现高度依赖于Hive技术, 这使得新增优化策略变得困难
b. 由于Spark采用的是线程级别的并行处理机制, 而MapRed