HDFS Simplified Maintenance State Implementation

文章目录

• 引言
  • 维护状态
  • 维护状态下的场景配对
  • 维护状态下的差异调整
  • 参考链接

前言

在HDFS集群的日常维护工作中，我们经常需要处理集群中出现的机器故障情况。特别是在集群规模较大的情况下，每天因坏盘或其他硬件问题而导致的机器维修情况较为常见。对于HDFS集群的维护人员而言，面对这些不可避免的问题我们无法避免它们的影响。我们的目标是尽可能减少这些维护行为所带来的负面影响。在现有HDFS功能框架内，默认提供了名为Maintenance state(HDFS-7877)的功能来专门解决这类问题。

Maintenance state

该状态属于DataNode内部的一种新型管理机制，在与常规的In Service状态下存在显著差异的情况下，并非触发大规模的数据复制操作。这一状态具有特定的时间终止阈值设定，在此限定范围内一旦时间超出就会触发自动转换回常规服务状态的行为。由此可见，在引入这种维护状态后可以实现机器维护时段对整个集群系统而言呈现出完全透明的特点特性；但必须满足以下前提条件：集群内必须拥有足够的副本数据来维持数据可用性；如果在维修过程仅保留了集群剩余的数据副本，则可能导致无法访问的情况