Spark核心组件中主要入口点介绍及其功能模块（执行计划、作业调度、错误追踪与日志管理）

Spark是一种依托内存运算机制构建的大规模数据并行处理架构。相较于Hadoop中所采用的MapReduce计算模型，其凭借内存计算特性在实时响应能力方面表现出更优性能，同时在容错机制与系统扩展性方面也保持了较高的水准。自2009年于AMPLab实验室首次推出以来，Spark现已发展为Apache软件基金会旗下的顶级开源项目，并广泛部署于各类商业级计算集群中。若希望掌握Spark技术，深入理解其系统架构是必不可少的基础。

文章结构概述

• • Spark特性
    • • 1.高效:
      • 2.操作便捷:
      • 3.适用范围广泛
      • 4.适配性强

    • Spark功能概述

Spark特点

1.快:

相较于Hadoop的MapReduce框架，Spark在内存计算方面的性能提升了超过100倍，而在基于磁盘的计算中也实现了至少10倍的提升。Spark构建了一个高效的DAG执行引擎，能够借助内存机制对数据流进行快速而精准的处理。

2.易用:

Spark提供了针对Java