探讨YARN的整体调度机制

文章目录

• • 前言

• 受约束条件影响的调度方案

• 全局调度体系的需求

• 全局调度机制的具体步骤

• 附录部分：详细阐述受约束标签影响下的Max-Min Fairness方法

• 参考文献

前言

在YARN调度机制的历史阶段中，在资源分配策略方面主要采用了基于节点心跳信号的方式进行管理。具体而言，在每一轮节点心跳触发时,YARN scheduler将尝试将最适合的应用容器分配到该节点上。这种单点与单次的资源调配策略虽然能在很大程度上提升资源利用效率,但在面对具有特殊约束条件的应用场景时,其整体优化效果仍有待提升。本文将深入探讨YARN后期实现中的全局调度设计理念,并分析其相较于早期方式的主要创新之处以及背后所蕴含的技术优势。

带有约束限制的调度

---

在单个节点一次性调度决策策略下，默认情况下假设某个应用仅需部署于拥有1000台机器的一个节点中，则Scheduler在为该应用分配容器时就会逐一排查每一个节点直至找到匹配的那个。

在全局调度模式下, scheduler会根据应用的需求来完成对节点的选择任务.这一做法与原有方式相比具有显著区别.

全局调度的要求

---

全局调度需要有以下主要的要求，以此保证其实用性：

响应机制旨在支持快速决策，在大规模分布式计算集群中由于每分钟每秒都会有成千上万的任务启动与终止