HDFS纠正和删除代码

该功能由CDH6和Hadop3引入作为创新设计。传统的HDFS采用副本容错机制，默认情况下每个文件通常储备三个副本以保证即使任意两个DataNode不可用时仍能提供可靠的数据冗余保障。这种设计以牺牲存储空间的代价确保了数据的可用性并带来了翻倍的数据冗余量。例如，在传统方案中存储1TB的数据需要约3TB的空间来实现这一保障机制。相比之下新的纠删码方案能够在同样保证数据可用性的前提下显著减少所需存储空间从而提升了系统的资源利用率

以RS-6-3-1024k为例，在编码过程中会产生六份原始数据，并经过编码处理后生成三份校验数据，在线上传输后总共有九份完整的数据存档。只要有六份原始数据仍然存在就可以恢复出完整的原始数据信息。这种系统设计能够承受最多三份数据不可用的情况，在存储效率上其冗余的空间仅相当于原始存储空间的一半数量，在这种情况下其冗余度相当于副本存储模式下存储量的四分之一数量级因此这种方式能够显著降低存储成本并提高系统的容错能力

就采用RS方案中的参数配置为（ RS\text{-}{}\text{方案参数} (n,k) 分别为 (m\times s,\ m\times r) ），即 RS\text{-}{}\text{方案参数} (n,k)=(m\times s,\ m\times r) 的数据集而言，在这种情况下，在相同的数据规模下（即每组数据规模均为