Alluxio与底层存储系统的元数据同步机制

文章目录

• 导论
• Alluxio系统内层的元数据同步机制
• 基于指定的时间间隔，在Path粒度上构建UFS Status Cache机制
• 引用部分

前言

所有存储作为一个基于底层存储系统的中间层角色；它必然涵盖底层系统间metadata之间的同步问题。当外部客户发起请求访问该系统的相关功能时；该系统的响应流程会引导客户至UnderlyingFileSystem（以后简称UFS）以获取真实元数据信息。显然没有必要每次都对UFS进行查询；因此我们需要设计一种高效的机制来减少不必要的I/O操作。本文将深入探讨所有存储内部如何高效管理元数据同步的具体设计与实现细节；重点关注的是其在提升数据处理效率和确保数据准确性的双重目标上。

Alluxio内部的元数据同步行为

首先，在这里我们需要弄明白一个基本的问题：作为基于底层存储系统的一个Cache层结构设计者或实现者，在Alluxio内部会遇到哪些元数据同步的需求？

从元数据同步的源头，目标来划分，总共为2类：

• 1）在Alluxio内部对metadata进行调整后（随后），再对UFS进行相应的处理（整个流程涉及从一个系统迁移到另一个系统的metadata同步）。
• 2）在处理过程中首先对UFS的metadata进行了调整（接着），完成这一迁移操作（整个流程涉及从一个