Flink 检查点 失败

目录

引言

问题阐述

问题分析

checkpoint的核心机制

思路阐述

现象描述

问题处理

前言

Flink容错机制的关键环节在于对分布式数据流以及操作员状态进行一致快照的生成。这些快照作为系统的一致性检查点，在出现故障时能够使系统回退至该状态。关于Flink实现这一快照生成的具体方式，已在“分布式数据流的轻量级异步快照”中进行了详细说明。该机制借鉴了用于分布式快照的标准Chandy-Lamport算法的理念，并根据Flink的执行模型进行了专门优化与调整。

问题描述

针对Flink任务的配置，其数据来源为Kafka，经过一系列处理流程后，最终将结果写入至另一个Kafka实例中。在该任务中，已启用checkpoint机制，具体配置参数如下：

     CheckpointConfig config = env.getCheckpointConfig();

    
  
    
     // 任务流取消和故障时会保留Checkpoint数据，以便根据实际需要恢复到指定的Checkpoin