重复数据基础

重删基础

数据去重

数据去重 是一种在存储系统中对数据进行无损压缩的方法

工作过程

如上图所示，

首先对文件进行划分(其中一种方法是采用文件内容编码方案(FCS)和连续编码段(CDC))。在划分完(data chunks)之后会计算每个data chunk对应的数据内容指纹(fingerprint)，该fingerprint即为该data chunk内容对应的哈希值。
接着基于每个data chunk所对应的fingerprint来构建一个完整的指纹索引，并将此index及其相关的fingerprint一并保存为元数据信息(metadata)。
最后通过检索到相应的fingerprint来进行比较操作，在发现已有记录时避免重复存储，在未发现已有记录时则仅需保存唯一的data chunk(unique chunks)以提高存储效率。

优点

• 减少备份所需的存储空间
• 最小化冗余数据的网络传输

FCS

FCS 即Fixed-Sized Chunking，固定大小的分块