建立DataSets和DataFrames

目录

• 1、生成DataFrame
  • • 1.1 通过读取文件生成
    • 1.2 基于RDD构建DataFrame
    • • 1.2.1 利用反射机制自动推断结构
      • 1.2.2 通过编程方式明确定义Schema

  • 2、构建Dataset

  • • 2.1 调用createDataset方法创建
    • 2.2 借助Case Class实现创建

  • 3、DataFrame与Dataset之间的相互转换

  • 4、RDD、DataFrame与Dataset之间的转换关系

1、DataFrame创建与数据结构构建

在 Spark 架构中，SparkSession 被视为所有功能模块的起始接口，用户可通过调用 SparkSession.builder() 方法进行实例化。完成构建后，应用程序能够基于已有的 RDD、Hive 表或 Spark 支持的数据源生成 DataFrame。具体实现方式如下所示：

    val spark = SparkSession.builder().appName("Spark-SQL").master("local[2]").getOrCreate()
    val df = spark.read.json("/usr/file/json/emp.json"