Ozone's distributed metadata management under the Ozone DN platform

文章结构概览

• 引言
  • Ozone系统中分布式的元数据管理
  • Ozone Datanode中数据的布局结构
  • Ozone Datanode所执行的数据处理流程
  • 参考文献

前言

众所周知，当元数据空间扩展至较大规模时，HDFS将面临一定的扩展性挑战。首先，HDFS将所有与元数据相关的INode信息以及对应的mapping信息全部加载到内存中进行统一管理，而这些庞大的数据均由NameNode负责处理。随之而来的便是NameNode需要应对更大规模的请求压力。从更深层次来看，这实际上是集中式管理模式所固有的局限性。与HDFS采用的纯内存集中式元数据管理机制不同，本文将探讨一种具备更高扩展能力的Ozone分布式元数据管理方案。

Ozone分布式元数据架构

首先，需要明确一个概念，即所谓的分布式元数据究竟是什么。简而言之，这种模式下系统的元数据并非集中存储，而是被分发至各个节点中保存。或许有人会产生疑问：在这样的架构下，我们该如何进行具体元数据的定位查询？是否应该设立一个更加集中的管理服务来处理这些元数据之间的关联信息？

实际上，这里存在一个矛盾之处。如果仍然需要依赖一个集中式的管理服务来统一管理这些分布式的元数据，那么这种设计方式就与传统的集中式管理模式没有本质区别。

在Ozone系统中，每个Datanod