RDD: 读取文件数据
发布时间
阅读量:
阅读量
一、文件数据读写
1、本地文件系统的数据读写
(1)、从文件中读取数据创建RDD(采用textFile()方法)
textFile()方法支持用户指定一个本地文件路径或本地目录路径。当指定的是本地文件路径时, 会直接加载该文件的内容;而当指定的是本地目录路径时, 会自动加载该目录下所有文件的数据。

(2)、把RDD写入到文本文件中 (采用saveAsTextFile()方法)
saveAsTextFile()函数的参数是一个未命名的文件夹路径 。若该文件夹已存在,则会导致错误信息出现;因此,在调用saveAsTextFile()函数之前应当先检查该文件夹是否确实不存在。

textFile变量解析并获取word.txt文件内容;随后将这些数据复制至指定目标存储路径writeback;在创建的目标目录下包含两个特定的存储实体:part-...以及_Success字段(后者可忽略处理)
全部评论 (0)
还没有任何评论哟~
