HDFS RBF中的连接管理

文章目录

• 引言

  • 连接管理面临的权衡问题

  • 基于Radial Basis Function（RBF）的方法进行连接管理

  • 连接池在细致层次上的划分

    • The creation of a connection
    • The cleanup process of a connection

  • 参考资料

前言

为了有效管理HDFS Federation中多个集群的维护问题,Hadoop社区已实现了一项名为Router-Based Federation（编号为HDFS-10467）的技术功能。这项技术的核心优势在于它在客户端与集群NameNode服务之间新增了一层Router角色的服务。通过引入这个智能的Router角色,客户端的所有请求都将由该 Router 自动转发至相应的 NameNode 节点,从而使得客户端无需直接关心具体有哪些 NameNode 节点存在以及各 NameNode 的 Namespace 区域内分布着何种类型的数据。这样一来，默认情况下,客户端无需关心具体有哪些 NameNode 节点存在,也不用在意各 Namespace 区域内数据的具体分布情况,完全实现了对 downstream 连接关系的高度自动化管理.由于这一 Router 的主要职责是负责请求转发工作,因此它必须具备主动建立