2.2 离线数仓—全量表同步实现

业务数据采集模块—全量表数据同步实现

• 引言

  • 一、全部数据表的同步处理

  • • 1.数据传输路径设置
    • 2.DataX配置文档的编写工作
    • 3.DataX配置文档生成程序（针对单一表格）
    • 4.DataX配置文档批量运行程序
    • 5.对生成的配置文档进行测试验证

  • 二、归纳总结

  • • 1.执行程序优化步骤
    • 2.全部数据表同步处理总结

前言

在完成对全量表采用DataX进行数据同步、增量表采用Maxwell进行数据同步的方案确认，并掌握DataX相关操作方法之后，开始实施全量表数据同步的具体工作。

一、全量表数据同步

1.数据同步通道

全量表的数据通过DataX工具从MySQL业务数据库直接传输至HDFS平台，具体的数据传输路径如图中所示：

所上传至HDFS的路径为/origin_data/gmall/db/activity_info_full/xxxx-xx-xx，该路径下HDFS中的表名在对应MySQL表的基础上添加了后缀_full，同时每个