Flink CDC与kafka实现多源合并及下游同步

一、前言
本研究主要聚焦于 Flink SQL 在使用 Flink CDC 时所面临的一个关键难题，即无法实现来自多个数据库和多个表的多源数据合并，以及在完成多源合并后如何将更新内容同步至下游 Kafka 的问题。当前，Flink SQL 仅支持对单个表执行 Flink CDC 操作，这种局限性会导致数据库 CDC 连接数量激增，从而带来资源浪费与性能瓶颈。

然而，Flink CDC 提供的 DataStream API 却具备处理多库多表同步的能力。因此，本文旨在借助 Flink CDC 的 DataStream API 实现多源数据的整合，并将其统一导入至一个总线 Kafka 中。通过这一方式，下游系统只需连接该总线 Kafka 即可完成对多源数据的合并处理，从而实现资源的高效复用。

二、环境
版本
组件
版本
Flink
1.13.3
Flink CDC
2.0
Kafka
2.13
Java
1.8

CDC预览

接下来，我们首先展示 Flink CDC 默认采用的 JSON 序列化格式如下：

    SourceRecord{sourcePartition={server=mysql_binlog_source}, sourceOffset={ts_sec=1643273051, file=mysql