How can big data architecture achieve stream and batch integration? It provides a clear explanation for the Flink concept and others like it.

导览：大数据与现有科技手段融合，在多数产业中都展现出显著的经济和社会价值。这也是当前企业为何在大数据领域深耕的重要驱动力。在大数据分析场景中涉及哪些技术挑战？目前有哪些主流的大数据架构模式及其发展轨迹？今天我们将一一解读，并介绍如何结合云上存储、计算组件实现构建高效通用的大数据架构模式以及该模式涵盖的典型数据处理场景。

大数据处理的挑战

现在已有大量应用领域正在发展大数据分析系统。包括金融领域在内的许多行业都需要将大数据系统与VaR方法或机器学习方案相结合以进行风险评估；零售与餐饮行业则依赖于大数据系统来支持商业决策；在多种物联网（IOT）应用场景下，则需要持续地聚合和分析时间序列数据；企业纷纷设立数据分析中心或平台来支撑……

抽象来看，支撑这些场景需求的分析系统，面临大致相同的技术挑战：

该领域内的数据分析涵盖实时与 stored 数据；不仅涉及快速响应的实时数据分析工作流,还需深入性地分析 PB 级 stored 数据。

为了应对可靠性与可扩展性的要求，在大数据环境下系统可能面临存储海量历史数据的挑战；与此同时, 面临着数据规模持续增长的挑战, 因此建议引入