Alluxio采用冷热数据分离的元数据管理策略

文章目录

• 导论
• 详细阐述了该系统的内部元数据管理架构
• 详细描述了基于Alluxio平台支持异步写出功能的自定义Cache实现方案
• 参考文献

前言

在上篇文章的结尾部分提到了一种称为分层元数据管理方法的技术。这一方法的核心思想是将元数据进行分级处理。例如，在Cache+Persist两种层次中：其中Cache层主要用于缓存频繁访问的数据；而Persistent（持久）层面负责存储那些访问频率较低的数据。这种分级管理策略不仅提升了系统的扩展性，并且实现了较为良好的访问性能。当今存储系统Alluxio正是采用了这一分层级管理的技术方案，在本文中我们将深入探讨Alluxio在tier layer（层级层面）的具体实现细节

Alluxio内部元数据管理架构

相较于将所有元数据加载至内存以提升快速访问能力的传统元数据管理方式而言, Alluxio在此方面进行了针对性的优化改进, 在缓存活跃的数据时采用了这一策略. 对于那些未被近期触及的数据, 则将其存储在本地rocksdb中.

在Alluxio系统中,专门地定义了元数据的存储机制,在内存环境中缓存活跃数据的部分被称为cache layer；而其中底层rocksdb层被称为baking layer

Alluxio是基于上面提到的两层store处理相关数据，并进而对外