Spark与Flink的主要区别在于延迟处理能力的不同

Spark与Flink

Flink是一种支持批处理与流式数据处理的可扩展数据平台。
它能够进行增量式迭代计算。
当处理集合时可选择循环迭代或逐步迭代的方式进行转换。
从而允许选择最优算法来优化Join操作、分区链接及数据重用过程。
其流式数据实现的是实时性特征。
即使在带水印标记的数据流中也能有效运行。
而其代码执行引擎在现有技术架构中表现优异。
Spark被定义为一种高效且通用性的分布式计算系统.
它引入了弹性分布式数据集(RDD)概念.
RDD将元素划分为集群各节点并行操作的基础架构.
同时允许用户将RDD保留在内存中以实现高效并行操作中的重复利用。

两者均采用流式计算模式，在数据处理机制上存在显著差异：Flink采用了逐行处理的方式，在每一步操作中均会对当前的数据行进行即时分析并执行相应的操作；而Spark则基于块状数据结构（RDD）进行小批量处理，在完成一个批次的所有运算操作后再返回结果。这种机制上的差异使得Spark在流式任务的执行效率上必然存在一定的延迟问题。相比之下Flink的流式计算能力与Storm不相上下其能够实现以毫秒为单位的快速响应；而相对而言Spark仅能实现每秒数千条指令的处理速度

与Hadoop兼容

• 该系统的资源调度机制基于YARN框架运行。
• 该系统能够访问包括HDFS和HBase在内的多种数据存储解决方案。
• 相比于Ha