Spark核心—RDD算子（转换操作）
发布时间
阅读量：
阅读量
文章目录
正在实时更新中
主要操作符
* （ 二 ）双 Value 类型
* * 1、intersection
* 2、union
* 3、subtract
* 4、zip-
（ 三 ）Key-Value类型
-
- 1、按分区键分组（partitionBy）
-
2、根据键值进行归约（reduceByKey）
-
3、基于键分组（groupBykey）
-
4、基于键聚合（aggregateByKey）
-
5、折叠键值（foldByKey）
-
6、结合键值（combineByKey）
-
7、按键排序（sortByKey）
-
8、连接操作（join）
-
9、左外连接（leftOuterjoin）
-
10、共组操作（cogroup）
- 二、RDD行动算子
持续更新中
| 序号 | 算子名称 | 类型 | 函数说明 |
|---|---|---|---|
| 1 | map | Value | 将处理的数据逐条映射转换（类型或者值的转换） |
| 2 | mapPartition | Value | 将待处理的数据以分区为单位发送到计算节点进行处理（可以进行任意处理，包括过滤数据） |
| 3 | mapPartitionWithIndex | Value | 将待处理的数据以分区为单位发送到计算节点进行处理,并获得当前分区索引 |
| 4 | flat |
全部评论 (0)
还没有任何评论哟~