重复数据删除技术在云存储中的应用与实现

发布时间：2017-06-16 17:01

  本文关键词：重复数据删除技术在云存储中的应用与实现，由笔耕文化传播整理发布。

【摘要】：随着电子信息科技和互联网产业的高速发展，企业和个人产生了大量的数据，并且其中重要的数据需要安全存储，云存储技术很好的解决了这个难题。然而，在这些备份的数据中有大量都是冗余的，这些冗余数据的存储和传输浪费了大量的存储成本和网络带宽。 针对这些问题，设计了一种高效的重复数据删除系统来减少重复数据的存储和网络传输首先针对常见的文件类型，为不同数据类型的文件提出了不同的分块算法，，尤其是针对文档类文件，设计了一种改进的滑动窗口算法，通过牺牲少量重删率，但使得性能获得巨大提升；其次提出了一种分布式的系统来分治指纹库和实现数据的并行处理，该系统由1台Nameserver和多台Dataservers组成，Nameserver管理用户文件地址表信息，Dataserver管理该节点的指纹库和数据存储，对于用户文件地址表的索引提出了一种高效的索引结构；最后设计了一种高性能的具有三层过滤、判重结构的指纹库，进一步地提升了系统的性能。 针对系统进行了相关测试。首先，对改进的滑动窗口算法进行了测试，结果表明，该算法相对于滑动窗口算法在损失少于10%重删率的基础上，使性能最高提升了30倍左右。其次，针对分布式系统的性能进行了测试，结果表明，数据节点数量增加到4台情况下，系统的吞吐率也得到了相应的提升3.12倍。最后，测试了单机情况下，有重删和无重删备份和恢复性能的对比，结果表明该系统的吞吐率是无重删系统的67%以上。
【关键词】：分块算法 重复数据删除 指纹库 分布式系统 地址表
【学位授予单位】：华中科技大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP333
【目录】：

• 摘要4-5
• Abstract5-8
• 1 绪论8-13
• 1.1 课题研究背景8-9
• 1.2 重删技术的国内外研究现状9-11
• 1.3 课题来源11-12
• 1.4 主要研究内容与章节安排12-13
• 2 重复数据删除关键技术13-22
• 2.1 重删基本原理13-14
• 2.2 重复数据检测技术14-19
• 2.3 指纹计算19-20
• 2.4 指纹查询20-21
• 2.5 本章小结21-22
• 3 重删系统整体设计22-38
• 3.1 系统设计背景22-23
• 3.2 系统架构23
• 3.3 功能模块23-35
• 3.4 系统数据分配策略35-37
• 3.5 本章小结37-38
• 4 重删系统详细设计38-46
• 4.1 系统读写流程描述38-40
• 4.2 分块算法模块40-41
• 4.3 文件路径索引和地址表模块41-43
• 4.4 指纹库模块43-45
• 4.5 本章小结45-46
• 5 测试结果和分析46-52
• 5.1 测试环境46
• 5.2 测试结果和分析46-51
• 5.3 本章小结51-52
• 6 总结和展望52-54
• 6.1 总结52-53
• 6.2 展望53-54
• 致谢54-55
• 参考文献55-58

【相似文献】

中国期刊全文数据库 前10条

1 ;重复数据删除可实现25:1压缩[J];每周电脑报;2007年01期

2 贾志凯;王树鹏;陈光达;彭成;;一种并行层次化的重复数据删除技术[J];计算机研究与发展;2011年S1期

3 Eric Bassier;;应对数据增长的重磅武器——重复数据删除技术[J];计算机与网络;2013年06期

4 于丹;;昆腾进入重复数据删除市场[J];每周电脑报;2007年09期

5 卢敏;;“零距离”重复数据删除[J];软件世界;2008年11期

6 卢敏;;点亮“重复数据删除”[J];软件世界;2008年06期

7 徐立洋;;选购重复数据删除方案 软硬兼施剔除鸡肋数据[J];中国计算机用户;2009年08期

8 邢延刚;;删除重复值我有妙法[J];电脑迷;2009年09期

9 李刚;;重复数据删除走向“源头”[J];中国计算机用户;2009年16期

10 雷赫;;重复数据删除技术方案选型 删除冗余 优化存储[J];中国计算机用户;2009年23期

中国重要会议论文全文数据库 前3条

1 贾志凯;王树鹏;陈光达;彭成;;一种并行层次化的重复数据删除技术[A];2010年第16届全国信息存储技术大会（IST2010）论文集[C];2010年

2 杨廷梧;;基于重复数据删除的靶场试验信息存储技术[A];2009年西部光子学学术会议论文摘要集[C];2009年

3 肖钧;黄亮;;虚拟化搭配去重,双剑合璧更给力[A];2011年CAD/CAM学术交流会议论文集[C];2011年

中国重要报纸全文数据库 前10条

1 本报记者 张伟;重复数据删除能被扶正吗[N];中国计算机报;2008年

2 王琨月;重复数据删除不该忽视弱点[N];网络世界;2008年

3 本报记者 郭涛;基于硬件的重复数据删除效率更高[N];中国计算机报;2009年

4 朱皎;重复数据删除技术渐成主流[N];电脑商报;2009年

5 邢小萍;重复数据删除技术渐入佳境[N];网络世界;2009年

6 本报记者 刑小萍;重复数据删除市场迎来开门红[N];网络世界;2010年

7 清水　编译;部署重复数据删除[N];计算机世界;2010年

8 编译 张磊;谁在拖重复数据删除的后腿[N];中国计算机报;2009年

9 本报记者 郭涛;重复数据删除2.0追求“双高”[N];中国计算机报;2012年

10 编译 沈建苗;你果真需要重复数据删除技术吗[N];计算机世界;2013年

中国博士学位论文全文数据库 前10条

1 林彬;主存储服务系统中高I/O性能的重复数据删除技术研究[D];国防科学技术大学;2014年

2 阎芳;重复数据删除系统数据组织研究[D];北京理工大学;2015年

3 周炳;海量数据的重复数据删除中元数据管理关键技术研究[D];清华大学;2015年

4 王国华;高效重复数据删除技术研究[D];华南理工大学;2014年

5 王灿;基于在线重复数据消除的海量数据处理关键技术研究[D];电子科技大学;2012年

6 付印金;面向云环境的重复数据删除关键技术研究[D];国防科学技术大学;2013年

7 周正达;信息存储系统中重复数据删除技术的研究[D];华中科技大学;2012年

8 杨天明;网络备份中重复数据删除技术研究[D];华中科技大学;2010年

9 朱锐;重复数据删除技术中的并行性能优化算法研究[D];华中科技大学;2013年

10 叶鹏迪;云存储系统资源管理关键技术研究[D];北京邮电大学;2014年

中国硕士学位论文全文数据库 前10条

1 张明月;客户端加密重复数据删除机制的研究[D];西安电子科技大学;2014年

2 黄可;重复数据可删除的云数据审计协议的研究[D];电子科技大学;2015年

3 王振宇;安全云存储中重复数据删除机制研究[D];南京邮电大学;2015年

4 李志然;云存储中集群重复数据删除系统的研究与设计[D];东北大学;2014年

5 张宏亮;重复数据删除技术在云存储中的应用与实现[D];华中科技大学;2014年

6 王珂;一种基于代理重加密的安全重复数据删除机制的研究[D];北京邮电大学;2012年

7 沈瑞清;云存储中避免重复数据存储机制研究[D];云南大学;2013年

8 石俊杰;基于云存储的重复数据删除文件系统设计与实现[D];华中科技大学;2013年

9 胡盼盼;在线重复数据删除技术的研究与实现[D];华中科技大学;2011年

10 曾涛;重复数据删除技术的研究与实现[D];华中科技大学;2011年

  本文关键词：重复数据删除技术在云存储中的应用与实现，由笔耕文化传播整理发布。

本文编号：455899