掌握combineByKey算子并轻松理解其原理系列
发布时间
阅读量:
阅读量
代码先行:
val conf = new SparkConf()
.setMaster("local")
.setAppName("CbkDemo")
val sc = new SparkContext(conf)
sc.setLogLevel("error")
val rdd: RDD[(String, Double)] = sc.parallelize(
Array(("George", 88.0), ("George", 95.0), ("George", 88.0),("KangKang", 93.0),
("KangKang", 95.0), ("KangKang", 98.0),("limu", 98.0)))
// val rdd2: RDD[(String, Double)] = rdd.coalesce(3)
//求和
/** * createCombiner: V => C ,这个函数把当前的值作为参数,此时我们可以对其做些附加操作(类型转换)并把它返回 (这一步类似于初始化操作)
* me
全部评论 (0)
还没有任何评论哟~
