PythonOperator和BashOperator的使用以及Xcom的使用
发布时间
阅读量:
阅读量
外部传递输入参数;PythonOperator基于输入参数自动生成数据;BashOperator生成特定文件路径并执行打包下载操作。
分析:
(1)使用provide_context=True来传递外界参数时,默认情况下不会将生成的数据放入上下文中;通过PythonOperator获取外界参数时,默认设置为False;采用provide_context=True来获取外界参数以满足需求
设置提供背景信息为True后,在自定义方法的参数中注入kwargs, 从**kwargs 获取外界提供的数据; 如接收到来源的数据中 kwargs['dag_run'].conf.get('date_end'), 获取日期截止时间
(3)在getMacLists方法中采用SQL底层查询接口JdbcHook.get_hook方法来获取数据库操作连接。这些返回值会被传递给Xcom组件供其他Operator访问。
(4)数据库连接池 可以在UI 界面的Adminitor -》 Connection 中配置
(5)多看源码
#-*- coding: utf-8 -*-
import airflow
from airflow import DAG
全部评论 (0)
还没有任何评论哟~
