spark 的基础知识

目录

一、基本概述

二、Spark的四大优势

1、处理效率高

2、操作便捷

3、适用范围广

4、执行模式

三、Spark框架组成部分

四、执行模式

五、Spark的系统架构与角色划分

六、总结

---

一、基础概念与背景介绍

Spark是一款适用于多种场景的大数据处理平台，其核心技术在于内存计算方式。如今，加米谷大数据将对Spark的发展历程进行简要介绍。
Spark的发展历程
1、2009年，Spark起源于伯克利大学AMPLab实验室，是该大学开展的一项科研项目；
2、2010年，该项目基于BSD许可协议向公众开放源代码；
3、2012年，首篇关于Spark的论文发表，并推出了首个正式版本（Spark 0.6.0）；
4、2013年，Spark被纳入Apache基金项目；同年发布了Spark Streaming、Spark Mllib（机器学习库）、Shark（基于Hadoop的Spark实现）等模块；
5、2014年，Spark被提升为Apache的顶级项目；同年5月底发布版本号为1.0.0的Spark，并推出Spark Graphx（图计算模块）、用Spark SQL替代Shark；
6、2015年，引入DataFrame（用于大数据分析的结构化数据模型）；从2015年起至今，国内IT行业对Spark