Flink Window窗口机制与延迟处理

目录

• 1、窗口
  • • 1.1 翻滚窗口(Tumbling Window, 无重叠)
    • 1.2 滑动窗口 (Sliding Window, 有重叠)
    • 1.3 会话窗口(Session Window)

  • 2、设定时间与延迟触发窗口关闭机制

  • • 2.1 数据事件发生时刻

    • • 2.1.1 情况一：假设处于最优状态，数据按照事件发生时间依次递增进入系统，不存在任何延迟，并且持续维持这一顺序。此时无需进行延迟关闭窗口的操作。
      • 2.1.2 情况二：当存在数据延迟现象时，需配置延迟关闭窗口机制（可采用Flink内置的类或自行开发的类实现）

    • 2.2 数据处理时刻（默认设置）

    • 2.3 数据进入Flink系统的时间

1、窗口

【在流式数据处理场景中，数据的输入具有持续性和连续性，因此无法等到全部数据抵达后再启动处理流程。

尽管可以采取逐条消息即时处理的方式，但在某些情形下需要执行聚合操作，比如统计过去一分钟内访问网页的用户数量。

面对这类需求，必须设定一个时间范围作为窗口，用于收集特定时间段内的数据，并在此基础上进行相应的计算。

窗口机制可以依据不同的驱动方式划分为两类：一种是基于时间间隔的（Time Window，如每30秒为一个周期），另一种则是基于数