Flink再次复习

Q&A

什么情况下会造成反压？

• 在实际操作过程中，反压现象往往源于数据分布不均的问题，我们可通过 Web UI 中各个 SubTask 的 Records Sent 与 Record Received 数据进行验证，同时 Checkpoint detail 中不同 SubTask 的 State size 也能够作为分析数据倾斜的重要参考指标。
  • 下游算子在与运行速度较慢的系统进行交互时，可采用异步IO的方式进行处理。
  • 另一种可能是资源申请不足，此时可以通过调整并行度来加以解决。
  • 此外，也可能由于 TaskManager 内存分配不合理，导致频繁触发垃圾回收机制，从而引发反压问题，严重时甚至会导致 TaskManager 失联，此时可考虑使用 G1 垃圾回收器进行优化。
  • 还有一种情况是窗口设置过大或滑动步长过小所引起的。

Flink反压有什么影响？

反压现象还会对两个关键指标产生影响：checkpoint 所需时长以及 state 的规模。

• 一旦发生反压，数据传输将受到阻碍，barrier 无法顺利传递至下游运算单元，这将直接导致 checkpoint 时长（即 End to End Duration）的增加。而 checkpoint 时间的延长可能会引发超时并最终导致 checkpoi