Spark makeRDD partitioned RDD源码分析
发布时间
阅读量:
阅读量
起因
object Spark_MakeRDD {
def main(args: Array[String]): Unit = {
val sparkConf = new SparkConf().setMaster("local[*]").setAppName("List-RDD")
val sc : SparkContext = new SparkContext(sparkConf)
// 设置3个分区
val rdd = sc.makeRDD(List(1,2,3,4,5), 3)
// 保存到output文件夹中
rdd.saveAsTextFile("output")
sc.stop()
}
}
执行完上述代码段之后,系统共输出了三个文件。
|文件名|内
全部评论 (0)
还没有任何评论哟~
