HDFS-RBF模式下RPC协议吞吐量瓶颈的研究与优化

文章结构概览

• 引言
  • RBF模式下RPC吞吐量存在问题的初步推测
  • 网络延迟所带来的影响分析
  • Router自身服务处理能力对系统性能的影响
  • Router与NameNode之间通信机制存在的问题
  • 对Router中Handler实现异步化处理的改进方案
  • 针对Router与NN之间SASL加密流程的优化措施
  • 文献来源

前言

此前笔者曾介绍过HDFS中采用RBF方案以应对NameNode单点故障的问题。当前，越来越多的企业开始应用RBF方案实现对HDFS集群的集中化管理。近期，笔者也对RBF的相关特性进行了深入调研，并尝试挖掘其中可能存在的潜在问题。在此过程中，我和团队成员发现了一个较为突出的问题：在启用RBF后，RPC的吞吐上限相较于直接连接NameNode的方式出现了明显下降。在直接连接NameNode进行测试时，系统能够达到30k以上的性能表现，而在RBF模式下，该数值仅能维持在26.7k左右。由此可以看出，两种方式之间的性能差距大致在10%到20%之间。随后我们持续探索这一现象背后的原因，最终确认是由于Sasl加解密过程所带来的额外性能损耗。然而，在这一排查过程中所遇到的困难和复杂性远超预期，接下来笔者将详细分享此次问题的分析与解决过程。

RBF模式的RPC吞吐量问题原因猜想