Spark核心编程 RDD算子（行动算子）
发布时间
阅读量：
阅读量
在Spark的基础编程中，默认的RDD运算符也被视为一种功能强大的操作方法。它包含两大类核心功能：其中一类主要负责将旧有的RDD包装成新的形式，并通过这种方式实现功能上的补充与封装；另一类则是触发任务调度与执行的操作符。
文章目录
- 一、基于RDD的转换操作
- 二、基于RDD的操作类组件
-
-
- 进行缩减操作
-
-
- 实现数据收集功能
-
- 统计数据计数方法
-
- 获取初始数据信息
-
- 提取前n条数据
-
- 按顺序提取前n条数据
-
- 结合聚合计算
-
- 折叠计算功能实现
-
- 统计键对下的数据数量
-
- 执行保存相关操作
-
- 对每个元素执行特定处理函数
持续更新中
| 序号 | 算子名称 | 函数说明 |
|---|---|---|
| 1 | reduce | 聚集 RDD 中的所有元素，先聚合分区内数据，再聚合分区间数据 |
| 2 | collect | 以数组 Array 的形式返回数据集的所有元素 |
| 3 | count | 返回 RDD 中元素的个数 |
| 4 | first | 返回 RDD 中的第一个元素 |
| 5 | take | 返回一个由 RDD 的前 n 个元素组成的数组 |
| 6 | takeOrdered | 返回该 RDD 排序后 的前 n 个元素组成的数组 |
| 7 | aggregate | 分区的数据通过初始值和分区内的数据进行聚合，然后 |
全部评论 (0)
还没有任何评论哟~