Ambari 配置 Yarn 队列 资源 为 绝对值 [memory=10240,vcores=12,yarn.io/gpu=4]

目录

• 1.引言

  • 2 调整资源队列 API流程

    • 2.1 确认capacity-scheduler配置的标签及版本信息
    • 2.2 检索capacity-scheduler特定版本的配置内容
    • 2.3 利用Cluster Metrics API查询YARN可调度资源总量
    • 2.4 对现有配置进行调整与优化
    • 2.5 更新并同步队列配置信息
    • 2.6 调取scheduler Info接口，分析各队列资源使用状态

  • 3 hdp3 和hdp2 版本API的区别：

1.介绍

自Hadoop 3.0版本起，系统支持通过绝对数值方式设定YARN资源队列中内存、虚拟CPU核数以及GPU核心数量的配置，而在2.x版本中，仅能通过百分比形式定义各队列所能使用的内存资源比例。

鉴于集群整体容量存在差异，因此在进行资源配置时，采用百分比形式能够更为灵活地适应不同规模的集群需求。
在capacity-scheduler.xml文件中可进行如下配置：
将集群资源按照6:1:3的比例进行划分，其中engineering队列分配60%，support队列分配10%，其余30%分配给其他队列。

    Property: yarn.scheduler.cap