YARN Federation架构设计思路

文章目录

• 引言
  • YARN Federation的提出背景
  • YARN Federation的整体结构设计
  • YARN Federation中的策略机制
  • 应用程序管理器在多集群环境下的资源分配
  • YARN Federation中全局层面的资源调度机制
  • 与YARN Federation相似的设计方案：基于HDFS Router的联邦架构
  • 参考文献

前言

针对HDFS的可扩展性问题，许多人都可能对HDFS federation这一方案有所了解，该方案通过横向扩展命名空间的方式提升其可扩展能力。实际上，随着集群规模的不断增大，不仅存储系统会出现性能瓶颈，计算系统同样也会面临类似的问题，例如YARN中的ResourceManager（以下简称RM）服务。当RM需要管理数千甚至上万个NodeManager节点时，同样会遇到诸多性能挑战，例如大量并发运行的应用程序所生成的待处理事件数量等问题。通常情况下，一个较为直接的应对方式是重新构建一个新的YARN集群。由于Hadoop架构中存储与计算功能可以实现分离，因此单独搭建YARN集群不会产生任何问题。随后只需将一部分在线任务引导至新的YARN集群中运行，即可有效缓解单个集群所承受的压力。然而这种简单直接的方法会在未来带来多个独立集群管理上的诸多不便，并且更