Advertisement

掌握combineByKey算子并轻松理解其原理系列

阅读量:

代码先行:

复制代码
 val conf = new SparkConf()

    
       .setMaster("local")
    
       .setAppName("CbkDemo")
    
     val sc = new SparkContext(conf)
    
     sc.setLogLevel("error")
    
  
    
     val rdd: RDD[(String, Double)] = sc.parallelize(
    
       Array(("George", 88.0), ("George", 95.0), ("George", 88.0),("KangKang", 93.0),
    
     ("KangKang", 95.0), ("KangKang", 98.0),("limu", 98.0)))
    
 //    val rdd2: RDD[(String, Double)] = rdd.coalesce(3)
    
     //求和
    
     /** * createCombiner: V => C ,这个函数把当前的值作为参数,此时我们可以对其做些附加操作(类型转换)并把它返回 (这一步类似于初始化操作)
    
       * me

全部评论 (0)

还没有任何评论哟~