spark RDD的核心技术

RDD 是一种不可更改的分布式对象集合。

生成 RDD 的方式包括：1）通过读取外部数据集（如使用 SparkContext.textFile() 方法）；

2）在驱动程序中，将一个集合进行并行化处理。

RDD 操作类型 包括：1）转化操作（transformation）：此类操作会基于一个已有的 RDD 生成一个新的 RDD；

2）行动操作（action）：此类操作会对 RDD 进行计算，得出结果后将其返回至驱动程序，或存储至外部存储系统（如 HDFS）中。

转化操作 包括：union()、filter() 等；

行动操作 包括：count()、take()、collect() 等；

filter 用于从 RDD 中筛选符合条件的数据；

union 用于对两个不同的 RDD 进行合并操作；

count 用于统计 RDD 中元素的总数；

take 用于获取 RDD 中少量的数据样本；

collect 则用于提取 RDD 中所有的数据内容。

转化操作与行动操作之间的主要差异 在于 Spark 对 RDD 的计算方式存在不同 ，其中转化操作返回的是新的 RDD，而 行动操作则返回其他形式的数据类型 。

所有 RDD 的转化操作均采用惰性求值机制。这意味着，在调用任何行动操作之前，Spa