同步MySQL数据至ClickHouse的批处理
发布时间
阅读量:
阅读量

ClickHouse是一款面向OLAP场景的列式数据库管理系统,其成功融合了OLAP与列式存储技术的特性,因此在处理大规模数据分析任务时展现出卓越的性能表现。
SeaTunnel是一个具备分布式架构、高处理效率以及良好扩展性的数据集成平台,主要用于实现海量数据的同步与转换操作。用户只需设定相应的作业参数,即可完成数据迁移任务。在作业提交后,源端连接器将并行读取数据,并将其传输至下游进行转换处理或直接传递给目标端接收器,最终由接收器将数据写入指定的目标存储系统。
SeaTunnel任务配置及启动流程
本实例旨在将MySQL数据库test库中bigtest表所包含的10000条记录,同步至ClickHouse数据库default.jdbc目录下。
用于创建MySQL表结构的SQL语句如下:
CREATE TABLE bigtest (
id int(11) NOT NULL,
name varchar(100) DEFAULT NULL,
quantity int(11) DEFA
全部评论 (0)
还没有任何评论哟~
