Hadoop公平调度队列FairCallQueue的优化规划

文章结构概述

• 引言
  • 优化方向一: FairCallQueue针对各类RPC Cost的评估机制改进
  • 优化方向二: FairCallQueue中资源保留功能的实现
  • 参考文献

前言

Hadoop在初期阶段引入了一种公平调度队列机制，用以替代原有的统一队列模式，从而有效应对Hadoop RPC在拥塞控制方面所面临的挑战。通俗而言，这种设计旨在避免某些“异常”用户大量发起RPC请求，进而影响正常用户的请求处理流程（如需了解更详细的实现细节，可参考笔者此前撰写的有关文章：聊聊RPC的拥塞控制)。然而，在后续用户实际应用新型公平队列（FairCallQueue，以下简称FCQ）的过程中，又陆续暴露出一些新的问题。本文将简要探讨相关优化思路，并结合社区目前对此议题的讨论情况进行分析。

优化点一: FairCallQueue对于不同RPC Cost的度量优化

当前FCQ机制对所有用户发起的请求未进行差异化处理，若以处理请求所消耗的资源为衡量标准，则默认将每个RPC操作赋予相同的权重值1。然而，对于实际的服务运行而言，执行写操作（write）类型的RPC所耗费的资源明显高于读操作（read）请求。一旦出现大规模的写请求，将会阻塞后续所有请求的处理进程。因此，从这一角度出发，可以制定一个规则：将一次写请求等同于处理三次读请求。此