基于文件校验的重删可靠性技术和重删应用研究

发布时间：2020-05-29 00:48

【摘要】：全球信息数据总量的剧增给存储系统的设计和管理带来了极大的挑战。重复数据删除作为一种节省存储空间占用的存储技术受到越来越多研究者的关注。然而由于重复数据删除技术不再存储重复数据块,而以指针代替,使得多个文件共享唯一的物理数据块副本,一旦该数据块损坏,这些文件都将失效,因此从一定程度上来说重复数据删除技术会降低存储系统文件数据的可靠性。为了保证重复数据删除存储系统中文件数据的可靠性,需要采取有效的优化方案来对系统进行优化。另一方面,重复数据删除技术能够有效地减少智能手机中写入到闪存介质中的重复数据,从而减少闪存介质的擦除次数,延长闪存芯片的使用寿命,因此可以提高智能手机存储系统的可靠性。基于文件的校验技术,提出了一种提高重复数据删除存储系统文件数据可靠性的优化方案Per-File Parity(简称为PFP)。PFP对写入到存储系统中的文件先进行定长分块,然后将所得到的分块进行分组,再对分组进行校验保护,最后将数据块进行去重存储。当数据块损坏时,PFP可以通过文件内数据重构和文件间数据重构两种方法恢复它,从而提高文件数据的可用性。理论分析和实验结果显示,相较于已有的两种重复数据删除存储系统可靠性优化的方案DTR(Deduplication-then-RAID,基于重删技术的磁盘阵列存储技术)和RCR(Reference-count based Replication,基于引用计数复制数据块技术),PFP对文件数据的保护效果更好,提高了重复数据删除存储系统文件数据可靠性。基于重复数据删除的智能手机可靠性优化研究,实现了基于重复数据删除的F2FS日志文件系统(简称为Dedupe-F2FS),从文件系统的层次消除重复数据的写入,减少写入到闪存介质中的数据量。根据从挂载Dedupe-F2FS的智能手机上收集到的真实负载进行测试评估,实验结果表明重复数据删除技术减少了智能手机存储系统中重复数据的写入,从而减少了闪存的擦除次数,提高了智能手机存储系统的可靠性。
【图文】：

主要步骤,指纹,数据分块,分块算法

逦邋Ｉ逦Ｈ逦Ｉ逦１逡逑图１－１重复数据删除技术的基本原理逡逑重删按照重删的粒度分为文件级重删、块级重删和字节级重删。文件级重删逡逑通过对单个文件计算指纹值，然后对比指纹值来检测重复文件。字节级重删则是逡逑通过压缩编码的方式来检测重复数据％。块级重删技术则是通过将文件分块后计逡逑算指纹，再通过比较指纹来检测重复的数据块。逡逑块级重删技术可以在消耗较少的计算资源的前提下提供较高的重删效率，目逡逑前主流的重删技术产品都基于块级重删。图１－２为块级重删技术的主要步骤。逡逑：、邋Ｍｉ逡逑数据分块＾＞１指纹计算ｐ指纹查找｜￣￣元数据和数据更新逡逑图１－２块级重删技术的主要步骤逡逑块级重删主要包括四个步骤：数据分块、指纹计算、指纹查找、元数据和数逡逑据更新。逡逑（１）数据分块逡逑数据分块是指按照一定的分块算法将文件划分成一定大小的数据单元逡逑（ｃｈｕｎｋ）。目前，数据分块算法主要分为两类：定长分块算法和变长分块算法。逡逑定长分块算法指的是将文件划分成某一固定长度的大小ｃｈｕｎｋ邋（块）。定长分逡逑块的实现一般采用截取的方式，在文件中每隔固定大小将数据截取成一个ｃｈｕｎｋ，逡逑对于不满固定大小的数据采用一定的方式进行另外的处理，往往采用补若干个０逡逑４逡逑

架构图,架构,方案,校验码

文件校验码生成模块主要负责将要写入到系统中的文件进行定长分块，然后逡逑将这些数据块划分成一个一个的分组，在每一个分组中采用ＸＯＲ计算生成一个逡逑校验码块。逡逑数据块重删模块对己经按定长分块划分出来的数据块（不包括校验码块）进逡逑行重删检测，，消除掉重复数据块的存储开销。这里需要注意的是，重删的过程包逡逑括：数据分块、指纹计算、指纹查找、元数据更新四个步骤，其中数据分块是在逡逑文件校验码生成模块中完成，后面的三个步骤是在数据块重删模块完成的。逡逑校验码存储模块只要是将校验码块存储到存储设备中去，并在文件的元数据逡逑中记录校验码存储的地址信息。逡逑文件重构模块包括两个主要的处理过程：文件内部重构处理过程和文件间重逡逑构处理过程。该模块负责在产生数据块错误或存储设备故障的情况下，通过文件逡逑
【学位授予单位】：厦门大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP333

【参考文献】