Advertisement

Spark运算符代码总结

阅读量：

Spark算子代码汇总

算子分类

转换算子在Transformations中具有延迟执行的特性，必须由Action算子进行触发后方可执行

Action算子具备触发执行的功能

控制类算子包括cache、persist以及checkpoint

Transformations

延迟执行机制需依赖Action算子的激活才能启动操作

map- 1:1 取数据数据是一行

flatMap-1:n 数据是多行拆分过的

filter-过滤

sortByKey排序机制解析

sortBy-排序 按照v(Int)进行排序,默认正序排列

sample-随机抽样

复制代码 
    //map 1:1 数据是一行
    //    lines.map(one=>{
    //      one+"#"
    //    }).foreach(println)
    
    //flatMap 1:n 数据是多行拆分过的
    //    lines.flatMap(one=>{one.split(" ")}).foreach(println)
    
    //过滤-filter
    //    val rdd1: RDD[String] = lines.flatMap(on

全部评论 (0)

还没有任何评论哟~

相关文章推荐