重复数据删除中智能预取算法设计与分析

发布时间：2019-09-03 06:25

【摘要】：在大数据存储研究领域中,数据存储与维护是一个具有挑战性的研究课题。由于数据量爆炸式增长,导致数据中心的数据规模庞大且冗余度高,不仅耗费巨大的存储空间和能耗,而且数据管理的复杂程度和存储风险也急剧提高。为了减轻数据存储负担和提高数据存储效率,重复数据删除技术成为了近年来存储技术研究的焦点之一。在重复数据删除技术中,主要存在两方面的问题:1、指纹索引造成的磁盘瓶颈问题。2、数据碎片化严重降低恢复性能。因此,本文将利用强化学习和模式匹配的方法分别解决这两个问题。具体研究内容如下:1)提出了一种基于强化学习的指纹索引预取算法。首先,利用数据流的上下文信息,提取数据流分段的特征;然后,通过选择适当的反馈机制,建立特征和数据流分段的映射关联关系,构建高效的索引结构;其后,用强化学习训练数据段之间的相似性,用分数表示;对每一个新的数据段,用多臂老虎机模型对当前反馈最好的数据分段和未知的分段进行权衡比较,动态的选择一个数据段进行预取;进一步研究优化数据分段的缓存机制,设计缓存算法。最后在4个数据集上验证了本方法的有效性,实验结果表明本文的方法大大减少了内存开销且实现了有效重删。2)提出了一种基于模式匹配优化数据恢复的算法。首先研究了重删之后数据存储碎片化的分布特性,分析数据恢复过程的数据读性能;然后利用模式匹配思想,将局部相关联的数据块识别出来,计算最长公共子序列形成连续模式的磁盘读取操作,减少磁盘随机读次数;再利用双循环缓冲设计最大化模式匹配算法,优化调度合并读操作,从而加速数据恢复性能;研究数据恢复的缓存预取机制优化,分析在不同缓存粒度情形下,对数据恢复的性能影响;最后在重写情形下,比较数据恢复性能。大量实验表明基于模式匹配的算法能够进一步提高恢复性能。
【学位授予单位】：天津理工大学
【学位级别】：硕士
【学位授予年份】：2017
【分类号】：TP333

【相似文献】

相关期刊论文 前10条

1 王军;重复数据 批量剔除[J];电脑应用文萃;2004年06期

2 ;重复数据删除可实现25:1压缩[J];每周电脑报;2007年01期

3 贾志凯;王树鹏;陈光达;彭成;;一种并行层次化的重复数据删除技术[J];计算机研究与发展;2011年S1期

4 Eric Bassier;;应对数据增长的重磅武器——重复数据删除技术[J];计算机与网络;2013年06期

5 于丹;;昆腾进入重复数据删除市场[J];每周电脑报;2007年09期

6 卢敏;;“零距离”重复数据删除[J];软件世界;2008年11期

7 卢敏;;点亮“重复数据删除”[J];软件世界;2008年06期

8 徐立洋;;选购重复数据删除方案 软硬兼施剔除鸡肋数据[J];中国计算机用户;2009年08期

9 邢延刚;;删除重复值我有妙法[J];电脑迷;2009年09期

10 李刚;;重复数据删除走向“源头”[J];中国计算机用户;2009年16期

相关会议论文 前3条

1 贾志凯;王树鹏;陈光达;彭成;;一种并行层次化的重复数据删除技术[A];2010年第16届全国信息存储技术大会（IST2010）论文集[C];2010年

2 杨廷梧;;基于重复数据删除的靶场试验信息存储技术[A];2009年西部光子学学术会议论文摘要集[C];2009年

3 肖钧;黄亮;;虚拟化搭配去重,双剑合璧更给力[A];2011年CAD/CAM学术交流会议论文集[C];2011年

相关重要报纸文章 前10条

1 本报记者 张伟;重复数据删除能被扶正吗[N];中国计算机报;2008年

2 王琨月;重复数据删除不该忽视弱点[N];网络世界;2008年

3 本报记者 郭涛;基于硬件的重复数据删除效率更高[N];中国计算机报;2009年

4 朱皎;重复数据删除技术渐成主流[N];电脑商报;2009年

5 邢小萍;重复数据删除技术渐入佳境[N];网络世界;2009年

6 本报记者 刑小萍;重复数据删除市场迎来开门红[N];网络世界;2010年

7 清水　编译;部署重复数据删除[N];计算机世界;2010年

8 编译 张磊;谁在拖重复数据删除的后腿[N];中国计算机报;2009年

9 本报记者 郭涛;重复数据删除2.0追求“双高”[N];中国计算机报;2012年

10 编译 沈建苗;你果真需要重复数据删除技术吗[N];计算机世界;2013年

相关博士学位论文 前10条

1 林彬;主存储服务系统中高I/O性能的重复数据删除技术研究[D];国防科学技术大学;2014年

2 周炳;海量数据的重复数据删除中元数据管理关键技术研究[D];清华大学;2015年

3 周景才;云数据中心软件节能关键技术的研究[D];武汉大学;2016年

4 王国华;高效重复数据删除技术研究[D];华南理工大学;2014年

5 王灿;基于在线重复数据消除的海量数据处理关键技术研究[D];电子科技大学;2012年

6 付印金;面向云环境的重复数据删除关键技术研究[D];国防科学技术大学;2013年

7 周正达;信息存储系统中重复数据删除技术的研究[D];华中科技大学;2012年

8 杨天明;网络备份中重复数据删除技术研究[D];华中科技大学;2010年

9 朱锐;重复数据删除技术中的并行性能优化算法研究[D];华中科技大学;2013年

10 阎芳;重复数据删除系统数据组织研究[D];北京理工大学;2015年

相关硕士学位论文 前10条

1 张明月;客户端加密重复数据删除机制的研究[D];西安电子科技大学;2014年

2 黄可;重复数据可删除的云数据审计协议的研究[D];电子科技大学;2015年

3 王振宇;安全云存储中重复数据删除机制研究[D];南京邮电大学;2015年

4 李志然;云存储中集群重复数据删除系统的研究与设计[D];东北大学;2014年

5 张宏亮;重复数据删除技术在云存储中的应用与实现[D];华中科技大学;2014年

6 曹秀秀;面向XML相似性重复数据的清洗方法研究[D];首都经济贸易大学;2016年

7 彭健;基于重复数据删除的教育资源管理系统设计与实现[D];电子科技大学;2016年

8 陈琳;基于存储系统的重复数据删除技术的研究[D];南京邮电大学;2016年

9 涂群;云存储系统中重复数据删除机制的研究[D];南京邮电大学;2016年

10 曲新奎;云存储中数据编码优化和重复数据删除技术研究[D];东北大学;2013年

，

本文编号：2531171