Advertisement

Flink窗口原理

阅读量:

Flink原理:窗口原理详解

1 定义

Flink 将其视为 Streaming 的一个特例后认为 Batch 是一种特殊的 Streaming 情况,在其底层引擎中实现了对流处理与批量处理的支持。窗口(window)则充当了从 Streaming 到 Batch 的纽带作用,在这种机制下将无限延伸的数据划分为有限范围的数据块。通过定义一个窗口并收集一批数据后,在该窗口内执行相应的聚合计算操作以完成数据汇总功能。

在这里插入图片描述

2 窗口分类

2.1 Time Window

在Flink中,窗口机制与时间类型实现了完全分离。这表明,在变更时间类型时无需修改与窗口机制相关的代码。

2.1.1 Flink中的时间种类有哪些

Flink中的时间与现实世界的时间存在差异,在该框架下划分为事件时间、摄入时间和处理时间三类。

基于EventTime作为基准划分时间段将会生成EventTimeWindow, 消息必须携带相应的EventTime信息

基于IngesingtTime的用于定义时间窗口的操作将导致形成IngestingTimeWi

全部评论 (0)

还没有任何评论哟~