Advertisement

PythonOperator和BashOperator的使用以及Xcom的使用

阅读量:

外部传递输入参数;PythonOperator基于输入参数自动生成数据;BashOperator生成特定文件路径并执行打包下载操作。

分析:

(1)使用provide_context=True来传递外界参数时,默认情况下不会将生成的数据放入上下文中;通过PythonOperator获取外界参数时,默认设置为False;采用provide_context=True来获取外界参数以满足需求

设置提供背景信息为True后,在自定义方法的参数中注入kwargs, 从**kwargs 获取外界提供的数据; 如接收到来源的数据中 kwargs['dag_run'].conf.get('date_end'), 获取日期截止时间

(3)在getMacLists方法中采用SQL底层查询接口JdbcHook.get_hook方法来获取数据库操作连接。这些返回值会被传递给Xcom组件供其他Operator访问。

(4)数据库连接池 可以在UI 界面的Adminitor -》 Connection 中配置

(5)多看源码

复制代码
 #-*- coding: utf-8 -*-

    
  
    
 import airflow
    
  
    
  
    
  
    
 from airflow import DAG
    
  

全部评论 (0)

还没有任何评论哟~