Spark 加载 CSV 文件去除头部 和 加载 JSON 并简单处理

目录

• 1、导入CSV格式的数据文件并删除第一行内容
  • • 1.1 应用SparkContext进行处理
    • 1.2 采用SparkSession方式进行处理

  • 2、导入JSON格式的数据源并对字段进行处理

  • • 2.1 利用SparkContext实现数据读取
    • 2.2 借助SparkSession完成数据加载
    • 2.3 对DataFrame中的字段执行相关操作

1、加载CSV数据源并移除首行

在D盘的test/t目录中存在一个名为users.csv的文件，其内容预览如下所示，需将该数据加载至Spark环境中，并删除第一行数据。

1.1 使用SparkContext

    import org.apache.spark.{SparkConf, SparkContext}
    
    object CsvDemo {
      def main(args: Array[String]): Unit = {
    val conf = new SparkConf().s