hadoop高级|hadoop队列管理与资源隔离

• 功能点

  • 配置

    • 对ResouceManager进行配置，采用CapacityScheduler调度策略
    • 定义队列结构
    • 队列相关特性
    • 针对队列特性进行参数设定
    • 调整配置文件内容
    • 设定任务执行的优先级级别

  • 其他模块调用hadoop队列

    • Hive组件

  • 补充说明

  • 参考资料

功能点

• 分层队列机制（队列支持层级划分）
  • 容量保障
  • 安全性
  • 弹性扩展能力
  • 多租户支持
  • 操作便捷性
  • 基于资源的调度策略
  • 用户或用户组导向的队列映射：可根据用户身份或所属用户组进行队列分配；
  • 优先级调度（优先级控制）：

配置

配置ResouceManager使用CapacityScheduler

对conf/yarn-site.xml这一配置文件进行相应调整