ETL调度系统及常见工具对比：azkaban、oozie、数栖云对比分析：数澜科技

近期，不少正在探索ETL及其相关工具的学习者向我们反馈了一个普遍存在的困惑：大家同样使用Kettle这一工具，初始条件并无明显差距，为何他人完成的ETL任务既高效又出色，而自己却频频遭遇问题？

事实上，像Kettle这类开源软件，已经涵盖了日常工作中绝大多数所需的功能。只需部署一套系统，即可满足企业的基础需求。然而在实际操作中可以发现，Kettle就像一款出厂时具备电话和短信功能的智能手机，若缺乏各类功能各异的智能应用支持，其表现与只能拨打电话的老年机并无二致。

今天，我们将针对其中备受关注的一项“应用”——调度工具展开简要的测评与对比分析，旨在帮助大家迅速掌握利用开源工具进行ETL处理的新方式。

一、为什么需要调度系统？

首先我们来普及一些基础知识。

众所周知，大数据的计算、分析与处理通常由多个任务模块构成（如Hive、Sparksql、Spark、Shell等），每个任务模块负责完成特定的数据处理逻辑。

这些任务模块之间通常存在较强的依赖关系，只有当上游任务执行成功后，下游任务才能开始运行。例如，上游任务完成后会生成结果A，而下游任务必须基于结果A才能生成结果B，因此下游任务的启动必须在上游任务成功运行并输出结果之后进行。

为了确保数据处理结果的准确性，这些任务必须按照其上下游依赖关系进行有序且高效的执行。一种较为基础的处理方法是预估每个任务所需的处理时间