Advertisement

Spark makeRDD partitioned RDD源码分析

阅读量:

起因

复制代码
    object Spark_MakeRDD {
    def main(args: Array[String]): Unit = {
    
        val sparkConf = new SparkConf().setMaster("local[*]").setAppName("List-RDD")
    
        val sc : SparkContext = new SparkContext(sparkConf)
        
        // 设置3个分区
        val rdd = sc.makeRDD(List(1,2,3,4,5), 3)
        
        // 保存到output文件夹中
        rdd.saveAsTextFile("output")
        
        sc.stop()
    }
    }
    
    
    
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
    

执行完上述代码段之后,系统共输出了三个文件。

|文件名|内

全部评论 (0)

还没有任何评论哟~