Flink_CDC搭建及其简单使用

Flink_CDC搭建及简单使用

1.CDC简介：

Change Data Capture（CDC），从广义上讲，任何能够捕获数据变更的技术都可被视为此类技术。然而，在实际应用中，我们常讨论的此类技术主要用于数据库领域（如MySQL、Oracle、MongoDB等），其核心功能在于记录数据库中的数据变更。

目前市面上提供了大量先进的数据一致性（DC）技术。常见的包括但不限于Flink CDC、DataX、Canal、Sqoop、K kettle以及Oracle Goldengate等

2.Flink_CDC简介：

目前公司主要依赖于canal这一工具来监控mysql数据库中的binlog日志，并将其实时数据传输至kafka系统中；随后又利用flink程序实现对其他服务的日志数据进行实时下发操作；这种方式虽然在一定程度上实现了信息传递功能但其传输路径较长整体响应速度较慢且运维工作较为繁琐

Flink_CDC技术的诞生,克服了传统数据库实时同步的问题。Flink_CDC通过模仿msql主节点下的从节点角色,持续获取主节点的数据流,它能够捕捉所有数据的变化,完整记录每一次变更,无需如查询CDC那样全面扫描过滤,高效运行且不需要侵入式处理逻辑,完全实现了与业务解耦,运维操作及其简便。

3.Flink_CDC部署：