Spark高性能大数数据分析关键点

Spark快速大数据分析 要点

在默认情况下，在每次对Spark的RDD执行行动操作时都会触发重新计算。如果你希望在同一组行动操作中多次复用同一个RDD，则应当调用RDD Operations中的persist()方法，在此之后Spark会将该数据按序列化格式持久化存储于JVM堆栈内存中

期间

2、 ETL（抽取、转化、装载）

3、Spark 支持键-值对类型的 RDD，并提供了大量特有的操作。这类 RDD 被称为 pair RDD

在将普通RDD转换为pair RDD的过程中，在线程密集型场景下可以通过调用map()函数来实现这一目标，并将其映射操作设计为返回键值对的形式：val pairs = lines.map(x => (x.split(" ")(0), x))

5、执行reduceByKey()和foldByName()操作会在为每个键计算全局总结果之前，在每一台机器上自动地执行本地汇总操作。无需自行配置该过程。提供了一种更加灵活的方式供combineByKeyName()接口使用，以自定义数据汇总的具体行为

我们旨在扩展 RDD 的分区策略，在除常见的分组与