Spark SQL 学习（notes）

目录

SQLContext

1.初始化SparkContext命令

2.创建SQLContext命令：

（1）Spark中使用toDF函数创建DataFrame

（2）创建Case Class

（3）使用选择（select）方法

（4）过滤器(filter)方法

（5）分组(groupby)方法

（6）将DataFrame数据存储在表中

（7）表上传递sql查询

显示记录

子句SQL查询数据帧

3.创建RDD、拷贝、修改

4.阅读JSON文档

SQLContext

SQLContext是一个用于初始化Spark SQL功能的类。它支持针对读取和写入自动捕获原始数据模式的镶木地板文件结构提供支持。

1.初始化SparkContext命令

访问 spark bin 目录，在运行 spark-shell 的情况下，默认情况下 SparkContext 对象将通过 namesp 机制进行初始化。

    D:\spark-2.4.3-bin-hadoop2.7\bin> spark-shell

显示：

如