Spark—文件读取和保存

文章结构概览

• Spark—数据文件的加载与存储
  • • 1、文本格式文件
    • 2、序列化格式文件
    • 3、对象序列化文件

Spark—文件的读取与保存

Spark 的数据读取与数据保存功能可依据两个不同层面进行划分，分别是文件格式类型和文件存储系统。

• 在文件格式方面，主要包括文本文件、CSV 文件、序列文件以及对象文件；
• 而在文件系统方面，则涵盖本地存储系统、HDFS 分布式文件系统、HBASE 数据库以及关系型数据库。

1、text 文件

    // 读取输入文件
    val inputRDD: RDD[String] = sc.textFile("input/1.txt")
    // 保存数据
    inputRDD.saveAsTextFile("output")
    
    
      
      
      
      
    

2、sequence文件结构与功能

SequenceFile 文件是一种专为存储二进制格式的 key-value 对而设计的平面文件类型，被 Hadoop 平台所采用。在 SparkContext 环境中，用户可通过调用 `sequenceFile[keyClass, valueClass](p