Advertisement

4.6 离线存储—DWD层数据加载脚本

阅读量:

离线数仓—DWD层数据装载脚本

  • 引言
    • 一、初次加载脚本
    • 二、日常加载脚本

前言

此前已完成DWD层所有表格及其对应的装载脚本的开发工作,现需编写一个整合性的数据装载脚本,以便于实现每日的自动化执行。

一、首日装载脚本设计与实现

初始化脚本文件名为ods_to_dwd_init.sh

复制代码
    #!/bin/bash
    APP=gmall
    
    if [ -n "$2" ] ;then
       do_date=$2
    else 
       echo "请传入日期参数"
       exit
    fi
    
    dwd_interaction_comment_inc="
    insert overwrite table ${APP}.dwd_interaction_comment_inc partition(dt)
    select
    id,
    user_id,
    sku_id,
    order_id,
    date_format(create_time,'yyyy-MM-dd') date_id,
    create_time,
    appraise,
    dic_name,
    date_format(c

全部评论 (0)

还没有任何评论哟~