Airflow 简介

官网

http://airflow.apache.org/

Airflow 是什么

Airflow 是一个用于以编程方式构建、调度及监控工作流程的平台。

原理

动态性: 通过编写代码（Python）来配置数据处理流程，支持动态生成，并可实现流程实例的动态创建。

扩展性: 可便捷地自定义算子与执行器，以满足特定环境下的抽象需求。

优雅性: 数据处理流程简洁明了，借助功能强大的 Jinja 模板引擎，将参数脚本嵌入 Airflow 的核心部分。

可扩展性: 采用模块化架构设计，并利用消息队列协调任意数量的工作任务。

安装

可通过 pip 安装 apache-airflow：pip install apache-airflow

关键概念

http://airflow.apache.org/concepts.html

DAGs：即有向无环图（Directed Acyclic Graph），它按照任务之间的依赖关系组织所有需要执行的任务，明确描述了任务的运行顺序。

Operators：用于描述 DAG 中某一具体任务的内容。Airflow 内置了多种 Operators，如 EmailOperator 用于发送电子邮件，HTTPOperator 用于发起 HTTP 请求，SqlOperator 用于执行 SQL 命令。同时，用户也可以自行定义