高效重复数据删除技术研究

发布时间：2024-07-02 00:31

　　当今人类社会已经进入高速发展的信息化时代，各种数据信息呈爆炸性增长的趋势，计算机存储系统中所存储的数据信息已经越来越多，并且其中包含了大量的冗余数据，这些冗余数据还会随着时间的推移而日益增多，这不仅会浪费大量的存储空间，而且会降低存储系统的性能，导致数据管理成本增加等诸多问题。因此，研究数据缩减技术以减少存储系统中的冗余数据对优化和提高存储系统的性能有重要的理论意义和现实意义。 重复数据删除技术是一种数据缩减技术，它可以消除存储系统中的大量冗余数据，提高存储空间利用率和减少数据管理成本，现在已经成为计算机存储领域的一个研究热点。 目前重复数据删除技术所面临的主要技术挑战是如何通过提高重复数据的删除效率来改善存储系统的性能问题。重复数据删除效率主要体现在重复数据删除过程中的重复数据删除策略、重复数据的重删率和重复数据检测速度等方面，它对提高存储空间的利用率和优化存储系统性能有重要的影响作用。因此，本文以提高存储系统的重复数据删除效率为技术主线，重点对重复数据删除架构、全局重复数据删除策略、加快重复数据检测速度的内存索引技术和基于流水线的重复数据检测方法等关键技术问题进行了深入研究。论文作...

【文章页数】：115 页

【学位级别】：博士

【部分图文】：

图2-1集群式两级重复数删除体系架构

图2-1集群式两级重复数删除体系架构CTDDA架构主要包括客户端、元数据服务器（Meta-DataServer，MDS）和存储节点集群。为了达到较高的重删效果，CTDDA架构可以进行文件级和数据块级两级的重复数据删除；为了提高性能，系统采用了包含多个存储节点的集群式架构....

图3-10局部与全局重复数据删除效果对比

c)八个存储节点图3-10局部与全局重复数据删除效果对比.0版本内部大概只包含0.22%的冗余数据，所以当有多个存储节除技术与全局重复数据删除技术所删除的冗余数据比例差别不

图3-11FSA更新频率对重删率的影响

更新的内容在1%~10%之间时发送更新信息，或者每隔一段时间发送更新，这段时间的长度也应该保证摘要信息的更新幅度在1%~10%之间。图3-11给出了对6个版本的Linux驱动源码连续备份过程中按不同频率更新FSA时全局重删率的变化情况，其中更新频率为0....

图3-12备份新合成数据集的吞吐率

表3-5不同存储节点数所对应的误测率存储节点数误测率分布到每个节点的块数每个节点误判的块数10.1%3,000,000300020.0082%1,500,00012340.00057%750,0004.360.00012%500,0000.680.....

本文编号：3999420