(2023-04-27) polardbx-LSM-tree Parallel Recovery performance optimization

背景

本研究探讨了数据库崩溃恢复所需的时间如何影响可用性服务级别协议（SLA）、故障终止时间和升级效率等多个关键指标。本文探讨了一种针对X-Engine数据库存储引擎优化崩溃恢复机制的方法，在经过该优化方案后能够在典型应用场景中显著缩短数据实例的故障恢复所需的时间，并从而显著提升用户体验

当前面临的问题

X-Engine是由阿里自主研发的一种基于LSM-tree架构的数据库存储引擎。该引擎采用独特的技术方案处理数据更新操作：具体来说就是，在每次执行更新操作时都会将变更的数据一次性地并行插入到无锁内存表（MemTable）中。为了保证系统的稳定性和提升运行效率，在 MemTable 数据量增大可能导致的影响因素下，则会定期地将其转换为不可修改的形式（ImmutableMemTables），并通过整体 Flush 操作释放这些结构到磁盘。与此同时，对于无需频繁访问或持久化的 MemTable 数据，则直接采用 Write-Ahead Log（WAL）机制来确保其持久化过程的安全性和可靠性。

X-Engine存储引擎在发生故障后需要执行读取所有WAL文件并重新生成全部ImmutableMemTables 和MemTables的过程；当前X-Engine的故障恢复处理流程分为两个主要步骤：第一步...

X-Engine存储引擎元信息回放，