YARN基于隔离调度的IO资源

前言

众所周知，在现有技术中基于容器运行时的内存与处理器使用情况主要包括两大类：一种是虚拟机虚拟化技术支持的传统虚拟化环境下的虚拟机运行机制；另一种是基于容器运行时支持的轻量级虚拟化技术中的容器运行机制。然而，在操作系统层面而言还存在一个重要的系统性资源配置问题尚未纳入考虑范围：即意味着系统性地管理存储容量配置相关的资源配置问题也应当被纳入到系统的资源配置范畴之中。目前采用不考虑IO资源状况的调度方式可能导致部分container过度消耗IO资源尽管这些container可能仅占用了一点点内存与处理器使用情况但这种做法并不科学也不符合系统的优化配置需求因此将加入成为YARN调度的一个必要条件具有显著的优势并且在实际应用中存在适用场景。

IO资源的概述

刚刚在上文已经提过了，在这里所说的IO资源不仅不仅仅局限于磁盘容量空间这一种形式。实际上它也可以代表其他方面的能力例如iops即每秒进行的输入输出操作次数以及带宽等指标。不过为了便于理解起见我们可以将其简化为使用磁盘存储容量来衡量节点的IO能力存储容量越大就意味着该节点能够处理的输入输出操作数量也就越多

YARN基于IO资源的调度和隔离

这里我们主要关注2点:

• 涉及的是IO资源调度问题。
  该调度的主要目的是为了防止过度分配导致过载问题出现。
• 另一个问题是关