Apache Spark

Apache Spark

目前，Apache Spark已被广泛认可为一种集成化的大数据处理平台，其通过引入具有容错能力的分布式数据集抽象（Resilient Distributed Datasets, RDDs）机制，实现了对多种数据处理任务的支持，包括但不限于结构化查询语言（SQL）查询、批量处理、流式计算、机器学习以及图数据处理等。

Spark编程模型解析

RDD抽象

最核心的数据抽象形式为RDDs，其本质是由多个对象构成的集合，并被划分存储于集群架构中的多台计算节点上，同时具备数据持久性的保障。那么随之而来的问题是：

如何生成一个RDD

Spark框架内置了大量被称作transformations的操作函数，可用于构建RDDs，比如map、filter、groupby等操作。

如何处理RDD

RDD对外提供了丰富的函数式编程接口，兼容多种编程语言如Java、Python、R和Scala。用户只需将一个本地函数传递给RDD，即可实现对集群中RDDs的操控。

以下为具体示例：

    lines = spark.textFile(“hdfs://...”)
    errors = lines.filter(s => s.startsWith(“ERROR”))
    println(