Flink窗口排雷问题无法触发
发布时间
阅读量:
阅读量
1.序篇-先说结论
博主希望你在阅读完本文后,能够培养一个编程方面的良好习惯:在使用 DataStream API 编写 Flink 任务时,Watermark Assigner 应尽可能靠近 Source 节点,实现前置处理。
若想了解背后的原因,请继续阅读下文!!!
我将从以下几个方面阐述上述问题及其原因,期望能引发大家的思考与启发。
⭐ 踩坑场景篇-具体遇到的困境是怎样的
⭐ 问题排查篇-如何对这一问题进行分析与定位
⭐ 问题原理解析篇-造成该问题的核心机制是什么
⭐ 避坑篇-有哪些方法可以有效规避此类问题
⭐ 总结篇
2.踩坑场景篇-这个坑是啥样的
2.1.需求场景
首先简要说明该问题所对应的业务需求背景以及初始版本的实现方式。
需求:在电商平台的运营过程中,需要依据网页在线用户定期发送的心跳日志(每30秒上报一次)来统计当前一分钟内用户在购物车页面(Shopping-Cart)停留的在线人数。
数据来源:用户心跳日志以每30秒为周期上报,其中包含三个字段,分别为用户ID、用户所在页面以及日志生成的时间戳。
数据处理流程:首先筛选出与购物车页面相关的日志记录,并按照时间戳进行滚动窗口(Tumble)方式的聚合计算。
数据输出:每分钟生成一次聚合结果,包含两个字段,分别为当前一分钟内购物
全部评论 (0)
还没有任何评论哟~
