大数据·计算引擎·spark: 简述基于内存的大数据分析引擎核心组件: spark core, spark sql, spark streaming, spark mllib, graphx

一、Spark概述

Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。

1、Spark v.s. MapReduce

在先前的学习过程中，Hadoop 所采用的 MapReduce 算法已成为广为人知的计算框架。那么我们为何还需要学习另一种计算框架 Spark？自然地引出了 Spark 与 Hadoop 之间的关联性。

1.1 从时间节点上对比

➢ Hadoop

• 在该年一月加入 Yahoo 公司后（即2006年1月），Doug Cutting 主导了 Hadoop 的开发进程。
• 在该年一月（即2008年1月），Hadoop 正式成为 Apache 的顶级项目。
• 在该年一月初（即2011年），Hadoop 完成了首次完整版本的正式推出。
• 在该年三月中旬（即2012年3月），Hadoop 稳定版版本正