Spark解析parquet文件创建DataFrame
发布时间
阅读量：
阅读量
读取parquet文件创建DataFrame
需要注意的是：
- DataFrame数据结构支持以parquet格式进行存储。实现该操作的方式共包含两种不同的方法
df.write().mode(SaveMode.Overwrite)format("parquet").save("./sparksql/parquet");
df.write().mode(SaveMode.Overwrite).parquet("./sparksql/parquet");
- SaveMode用于定义文件在保存过程中的操作方式。
Overwrite：将原有内容覆盖
Append：在原有内容后添加新数据
ErrorIfExists：当目标文件已存在时触发错误
Ignore：当目标文件已存在时直接忽略
javaAPI:
【说明
package SparkSql;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkCon全部评论 (0)
还没有任何评论哟~