Flink FileSystem的connector行为分析

文章目录

• 前言（导论）
• FileSystem中的滚动式快照（Rolling Sink）
• FileSystem连接器实现精确一次地恢复意义（FileSystem连接器的Exactly Once恢复语义）
• • FileSystem Sink实现文件状态转换机制（FileSystem Sink的文件状态转换）
    • Checkpoint下的精确一次恢复（基于Check点的精确一次恢复）

前言

基于当前最新发布的Flink代码分析显示, 它如今可支持越来越多的不同connector类型, 不仅包括前面Source的部分, 还包括后面的Sink选择。然而, Flink的设计并非仅仅局限于只需完成一个外部数据源系统的简单连接, 而是必须具备Exactly Once的数据恢复能力, 因为此功能对于执行Checkpoint操作时至关重要: 确保前后两端的数据完整性即可实现这一点。本文将深入探讨基于文件系统的连接器实现方案, 并重点阐述其在Checkpoint模式下的Exactly Once恢复机制是如何得以实现的具体方法和步骤

FileSystem的RollingSink

在Flink的FileSystem连接器实现中，在其设计中存在一个重要特性：RollingSink这一机制被采用以应对数据源持续不断提供输入的情况