安装和使用Oozie

文章结构概览

• 1、Oozie的概述
  • • Oozie的构成要素解析

  • 2、Oozie的系统结构

  • 3、Oozie的部署配置

  • 4、Oozie的操作应用

  • • 4.1、借助Oozie实现Shell脚本的调度运行
    • 4.2、通过Oozie执行Hive作业
    • 4.3、利用Oozie管理MapReduce任务
    • 4.4、Oozie中任务之间的流程衔接
    • 4.5、基于Oozie的任务调度机制及周期性任务执行

1、Oozie功能与应用概述

Oozie是一种部署于Hadoop平台之上的工作流调度系统，其主要功能在于对各类Hadoop相关作业进行统筹安排与执行控制，例如MapReduce及Pig等任务类型。

Oozie核心组件解析

workFlow：即工作流，用于定义任务的执行流程，其核心由多个action构成，每个action代表一项具体操作，所有配置均可在xml文件中完成。
Coordinator：可视为协作器，其主要功能是协调多个工