输出ADS层数据

ADS层数据导出

• 前言
  • 一、报表数据导出
    • • 1.MySQL建库建表
      • • 1.1 数据库的建立
      • 1.2 表结构的创建
      • 1.3 建表过程中的关键事项

    • 2.数据导出操作

      • • 2.1 DataX配置文件的编写工作
      • 2.2 自动生成配置文件的脚本开发
      • 2.3 配置文件的具体执行流程
      • 2.4 日常数据导出任务的自动化脚本

前言

在完成ADS层所有表格的设计与实现之后，下一步需要将这些数据传输至MySQL数据库，以便于后续可视化操作的开展。

一、报表数据导出功能实现

1.MySQL数据库结构搭建

在将HDFS中的统计数据迁移至MySQL数据库之前，需要先创建对应的数据库结构，并设计与数据内容相匹配的表结构。

1.1 创建数据库

    CREATE DATABASE IF NOT EXISTS gmall_report DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
    
    
      
    

1.数据库表结构设计

1）各渠道流量统计
Hive中所包含的表格：