Advertisement

JobTracker作业启动分析

阅读量:

在Hadoop生态系统中,默认情况下作业的执行模式多种多样。除了通过命令行提交打包好的作业这一方式外,在众多的执行模式中每个流程都需要经历一个标准的过程:作业会以特定的形式提交到JobTracker节点上完成后续操作。那么什么是JobTracker呢?它是一个宏观层面的管理单元负责整合并调度所有分配来的子任务工作流程。简单来说它是将大量独立的任务组织在一起进行协调管理的核心节点。而MapReduce计算模型则是这一系统中最基本的具体实现方式它主要负责将数据分割处理并最终汇总整合整个过程涉及大量数据读写和计算资源调度工作。基于Master/Slave模式构建起来的体系其中Master节点负责资源管理和任务调度而Slave节点则主要承担将分配来的任务实际执行的任务。这种主从式的架构设计使得系统能够高效地处理海量数据并支持高吞吐量的工作负载。

实际上,在作业流程未进入提交阶段之前,并不会进入后续阶段。具体来说,在用户启动了bin/hadoop jar xxx.jar操作后。

实际上,在作业流程未进入提交阶段之前,并不会进入后续阶段。具体来说,在用户启动了bin/hadoop jar xxx.jar操作后。

复制代码
 public RunningJob submitJob(String jobFile) throws FileNotFoundException,

全部评论 (0)

还没有任何评论哟~