阿里巴巴Canal数据同步实操

引言

伴随着业务的成长

配置文件

canal.properties是Canal的核心配置文件中包含了多个关键参数设置。在实际操作中应重点关注以下几点配置项。

canal.serverMode

提供tcp、kafka、RocketMQ三个值。

• tcp：客户端通过tcp途径从Canal服务端获取增量数据。
  • kafka：Canal服务端将增量数据同步至kafka中，客户端从kafka上消费数据。当客户端运行时会察觉不到Canal的存在，并且仅需与kafka进行交互即可完成工作流程。
  • RocketMQ：同理，在RocketMQ上同步增量数据。

canal.zkServers

用于连接多个Canal节点的Zookeeper集群地址，在多台Canal节点组合作为集群成员时，在此地址处存储完整的集群相关信息

canal.destinations

为了实现对Canal组件的一致性管理需求，在项目根目录下创建一个与canal.conf.dir同名的子目录，并在该子目录内放置一份instance.properties属性文件。当该属性文件为空时，默认将整个canal.conf.dir子目录视为一个实例进行管理。

canal.instance.global.spring.xml

Canal开源版本