Spark SQL用于处理外部数据源，并支持与Spark及Hive的集成

目录

• 1、概述
  • • 1.1 多来源数据兼容性
    • 1.2 数据读取格式支持
    • 1.3 数据写入格式支持

  • 2、CSV文件处理

  • • 2.1 CSV文件的读取操作
    • 2.2 CSV文件的写入操作

  • 3、JSON数据处理

  • • 3.1 JSON文件的读取方式
    • 3.2 JSON文件的写入方式

  • 4、Parquet格式处理

  • • 4.1 Parquet文件的读取方法
    • 4.2 Parquet文件的写入方法

  • 5、Hive表操作

  • • 5.1 使用spark-shell进行交互
    • 5.2 在IDEA中进行开发

  • 6、MySQL数据库连接

  • • 6.1 使用spark-shell进行交互
    • 6.2 在IDEA中进行开发

1、简介

1.1 多数据源支持

1.2 读数据格式

所有用于数据读取的 API 接口均采用统一的调用方式：

    // 格式
    DataFrameRea