配置Spark on Hive通过DataGrip连接Spark编写SpiderSQL

版本管理与控制

【

hive 3.1.2

spark 3.3.3

配置

首先，需要自行完成spark on hive的配置工作，这一过程相对简单，网络上已有大量相关配置教程可供参考。

将MySQL对应的jar包放置到spark的jars目录中。

测试

启动spark-sql（若无误的话，该命令应位于spark的bin目录下）
建立数据表并添加字段信息
随后运行hive（执行命令bin/hive），检查是否能够查询到通过spark-sql创建的表。
如果查询成功，则说明spark on hive的配置已经完成。

后面这是使用客户端工具DataGrip连接到Spark，写sql 的配置

DG无法直接与spark进行连接，若需实现连接，应采用Spark ThriftServer来替代hiveserver2服务。

1、前往/etc/hosts文件，新增一行内容：192.168.177.101 node01.itcast.cn（此步骤也可省略，若后续出现异常可再回来配置）。（在我完成配置后，也认为这一步较为冗余，可以暂时忽略）

2、启动Spark ThriftServer

在$SPARK_HOME/sbin目录下

//这是配置了第一步的启动方式