HDFS DataNode 高密度存储机型探索

前言

伴随企业经营规模的扩大，所面临的数据存储需求也呈现出持续增长的趋势，以满足业务发展的需要。在此背景下，数据存储能力的提升成为亟需解决的问题。存储数据量的增加实际上意味着需要配置更多计算设备来扩展HDFS集群的整体存储容量。然而，设备数量的上升同时带来了显著的成本压力。如何在控制设备投入成本的前提下，最大限度地提高单台设备的存储性能，这已然成为集群运维人员必须面对并加以解决的关键议题。基于这一背景，笔者近期对具备更强存储性能的新一代硬件设备展开了深入调研与分析，并通过设置多种应用场景及实施多轮性能测试，评估该类设备是否符合集群运行的标准。本文将围绕上述内容展开探讨。

新机型存储方案选型

首先，关于引入新型存储设备的原因，此前已有说明，主要是出于对硬件成本的考量。由于公司内部HDFS集群中的设备数量已经达到了相当庞大的规模，每年在该方面的支出也极为可观。随着集群数据量的持续增长，我们考虑的下一步方案是通过提升单台机器磁盘的存储容量来增强整个集群的总存储能力，而非继续增加原有设备的数量。

目前，在我们的集群中主要使用的是两种类型的存储设备：12（盘数）*5T以及12 * 10T。然而，这两种设备类型逐渐难以满足当前集群的需求。因此，我们开始调研并尝试选择一种具备更大存储能力的新机型。在初步筛选过程中，我们考虑了以下两个方向：