存储系统重复数据删除技术研究综述
本文关键词： 重复数据删除 重删率 体系结构 元数据结构 I/O优化 出处：《计算机科学》2014年01期 论文类型：期刊论文
【摘要】：目前企业对数据量不断增长的需求使得数据中心面临严峻的挑战。研究发现,存储系统中高达60%的数据是冗余的,如何缩减存储系统中的冗余数据受到越来越多科研人员的关注。重复数据删除技术利用CPU计算资源,通过数据块指纹对比能够有效地减少数据存储空间,已成为工业界和学术界研究的热点。在分析和总结近10年重复数据删除技术文献后,首先通过分析卷级重删系统体系结构,阐述了重删系统的原理、实现机制和评价标准。然后结合数据规模行为对重删系统性能的影响,重点分析和总结了重删系统的各种性能改进技术。最后对各种应用场景的重删系统进行对比分析,给出了4个需要重点研究的方向,包括基于主存储环境的重删方案、基于分布式集群环境的重删方案、快速指纹查询优化技术以及智能数据检测技术。
[Abstract]:At present, the growing demand for data in enterprises makes data centers face severe challenges. The study found that up to 60% of the data in storage systems are redundant. How to reduce redundant data in storage system has attracted more and more attention of researchers. Repeated data deletion technology can effectively reduce data storage space by comparing data block fingerprints with CPU computing resources. It has become a hot topic in industry and academic circles. After analyzing and summarizing the technical documents of data deletion in the past 10 years, the principle of redelete system is expounded by analyzing the architecture of volume level redelete system. Based on the effect of data scale behavior on the performance of the redelete system, the performance improvement techniques of the redelete system are analyzed and summarized. Finally, the redelete system of various application scenarios is compared and analyzed. Four important research directions are given, including redelete scheme based on main storage environment, redelete scheme based on distributed cluster environment, fast fingerprint query optimization technology and intelligent data detection technology.
【作者单位】： 青海师范大学计算机学院;华中科技大学计算机科学与技术学院;
【基金】：国家973重点基础研究发展计划(2011CB302303)资助
【分类号】：TP333
【参考文献】
相关期刊论文 前2条
1 付印金;肖侬;刘芳;;重复数据删除关键技术研究进展[J];计算机研究与发展;2012年01期
2 敖莉;舒继武;李明强;;重复数据删除技术[J];软件学报;2010年05期
【共引文献】
相关期刊论文 前10条
1 邓亮;胡晓勤;梁刚;;基于重复数据删除技术的SQL Server数据库备份系统[J];计算机安全;2011年07期
2 吴晓勇;李慧娜;;基于文件类型的远程文件备份系统[J];计算机安全;2012年03期
3 吴晓勇;李慧娜;;基于Internet的共享式灾备中心[J];计算机安全;2012年05期
4 张清松;梁智强;;基于硬盘的主机防客体重用性能的检测方法[J];广东电力;2012年07期
5 李向前;;一种基于重复数据删除的Oracle数据库备份系统[J];电脑知识与技术;2013年01期
6 谢垂益;钟红君;;Rabin指纹算法在重复数据检测中的应用研究[J];电脑知识与技术;2013年21期
7 王灿;秦志光;杨磊;杨皓;;基于改进Sparse Indexing的多负载消冗方法[J];电子科技大学学报;2013年05期
8 张志杰;何利力;;烟草工业数据灾备中重复数据删除技术研究[J];工业控制计算机;2013年12期
9 彭成;王树鹏;贾志凯;;基于纠删码的数据消冗存储系统可靠性增强研究[J];计算机研究与发展;2011年S1期
10 付印金;肖侬;刘芳;;重复数据删除关键技术研究进展[J];计算机研究与发展;2012年01期
相关会议论文 前1条
1 彭成;王树鹏;贾志凯;;基于纠删码的数据消冗存储系统可靠性增强研究[A];2010年第16届全国信息存储技术大会（IST2010）论文集[C];2010年
相关博士学位论文 前4条
1 谭玉娟;数据备份系统中数据去重技术研究[D];华中科技大学;2012年
2 王灿;基于在线重复数据消除的海量数据处理关键技术研究[D];电子科技大学;2012年
3 魏建生;高性能重复数据检测与删除技术研究[D];华中科技大学;2012年
4 蒋海波;海量数据存储系统的高可靠性关键技术研究与应用[D];电子科技大学;2013年
相关硕士学位论文 前10条
1 丁跃进;网关型病毒防火墙的设计与实现[D];电子科技大学;2011年
2 胡盼盼;在线重复数据删除技术的研究与实现[D];华中科技大学;2011年
3 曾涛;重复数据删除技术的研究与实现[D];华中科技大学;2011年
4 张鹏;在线备份系统中存储服务器的研究与实现[D];华中科技大学;2011年
5 周国惠;支持重复数据删除的网络备份系统中存储服务器的设计与实现[D];华中科技大学;2011年
6 张航;文件同步服务中数据同步传输消重策略研究[D];国防科学技术大学;2011年
7 武铨;广域网数据冗余消除TCP透明代理的设计与实现[D];南京邮电大学;2012年
8 郭永安;网络协议栈下TCP队列管理研究[D];南京邮电大学;2012年
9 毛允亭;广域网数据压缩算法的研究与实现[D];南京邮电大学;2012年
10 肖红凤;基于数据中心的数据访问服务模型研究[D];东北石油大学;2012年
【二级参考文献】
相关期刊论文 前1条
1 敖莉;舒继武;李明强;;重复数据删除技术[J];软件学报;2010年05期
【相似文献】
相关期刊论文 前10条
1 王敬治;计算系统体系结构的发展趋势[J];计算机工程与应用;1979年08期
2 李金良;日本正准备制造数据流计算机[J];计算机工程与设计;1983年04期
3 惠毓明;;CONVEX C-1小巨型计算机的体系结构[J];计算机研究与发展;1988年12期
4 郭仲伟，张燕云，肖田元;计算机集成制造系统(CIMS)的体系结构、模型与方法[J];管理科学学报;1994年01期
5 倪鹏云;对开放系统互联OSI有关重要概念的分析[J];计算机工程与科学;1994年04期
6 江芳泽,李昕;现场总线体系结构的研究[J];自动化仪表;1996年03期
7 尚明，，李晶;Internet网络体系结构及其应用资源[J];术语标准化与信息技术;1996年03期
8 Markus Levy;;微机体系结构主宰芯片集的特性[J];电子设计技术;1997年05期
9 王晨;;Bay副总裁“泄密” 交换路由集一芯片[J];每周电脑报;1997年35期
10 ;TI方案端口多[J];每周电脑报;1997年49期
相关会议论文 前10条
1 王宇;程小辉;;基于移动agent虚拟仪器系统体系结构研究[A];第三届全国虚拟仪器大会论文集[C];2008年
2 徐海;韩宇;孙永兵;韦水生;邓庆绪;于戈;;基于软硬件联合设计的嵌入式实时数据库体系结构[A];第二十二届中国数据库学术会议论文集（技术报告篇）[C];2005年
3 萧蕴诗;武广;徐立鸿;;复杂信息系统集成方法及其在智能建筑中的应用研究[A];1998中国控制与决策学术年会论文集[C];1998年
4 魏定国;;试论企业级数据传输体系结构[A];1998中国控制与决策学术年会论文集[C];1998年
5 董永贵;董恩生;贾惠波;;生物启发仪器的体系结构及实现技术[A];第二届全国信息获取与处理学术会议论文集[C];2004年
6 苗宇;程荫杭;张超;;室外自主轮式移动机器人的发展及关键技术[A];可持续发展的中国交通——2005全国博士生学术论坛（交通运输工程学科）论文集（下册）[C];2005年
7 刘仲英;胡衍强;胡斌;;物流公共信息平台的体系结构研究[A];第11届海峡两岸信息管理发展策略研讨会论文集[C];2005年
8 李劲;;综合射频传感器的开放式系统结构[A];中国雷达行业协会航空电子分会暨四川省电子学会航空航天专委会学术交流会论文集[C];2005年
9 王瑜;孟涛;相敬林;夏靖波;;一种应用于Ad hoc网络管理的分簇算法[A];2005中国控制与决策学术年会论文集（下）[C];2005年
10 蔡京平;贾云得;;星球探测机器人分布式计算系统体系结构研究[A];中国宇航学会深空探测技术专业委员会第一届学术会议论文集[C];2005年
相关重要报纸文章 前10条
1 四川 陈路;浅谈网格的典型体系结构[N];电子报;2008年
2 ;电联关注面向用户基于业务的体系结构[N];人民邮电;2001年
3 安烨;企业门户的特点及体系结构[N];网络世界;2001年
4 ;诠释智能理念 奠基存储未来[N];计算机世界;2003年
5 刘钝;我国研究成果对新一代互联网体系结构产生重大影响[N];大众科技报;2007年
6 ;思科演示IP网络体系结构[N];中国电子报;2000年
7 ;新砖瓦精装新数据中心[N];网络世界;2006年
8 彭芳;更新ASIC体系结构[N];中国计算机报;2001年
9 李贵林;瑞星：网络杀毒取决于体系结构[N];计算机世界;2002年
10 憨墨;构画20世纪出版学的体系结构[N];中华读书报;2005年
相关博士学位论文 前10条
1 王醒策;基于强化学习和群集智能方法的多机器人协作协调研究[D];哈尔滨工程大学;2005年
2 李治军;美韩同盟与东亚安全：一种结构主义理论的分析[D];复旦大学;2008年
3 杨建宇;基于组件的分布式地理信息服务研究[D];中国科学院研究生院（遥感应用研究所）;2005年
4 董艇舰;基于开放结构数控系统引导型二次开发仿真平台构建研究[D];天津大学;2005年
5 孟宪松;多水下机器人系统合作与协调技术研究[D];哈尔滨工程大学;2006年
6 耿文莉;中国林产工业企业管理信息化问题研究[D];东北林业大学;2007年
7 夏绪辉;逆向供应链的体系结构及其物流关键技术研究[D];重庆大学;2003年
8 林川;基于立体跨层体系结构无线传感器网络的能量问题研究[D];武汉大学;2007年
9 严勇杰;多机器人系统协调与控制研究[D];哈尔滨工程大学;2007年
10 甘永;水下机器人运动控制系统体系结构的研究[D];哈尔滨工程大学;2007年
相关硕士学位论文 前10条
1 常武;三层分布式PACS体系结构的研究与实现[D];北京工业大学;2001年
2 王征;现场总线通信技术的研究与实现[D];大庆石油学院;2004年
3 屈红军;基于网关安全平台的虚拟线程体系结构[D];华中科技大学;2004年
4 白玉;基于供应链的采购管理系统研究[D];河北工业大学;2005年
5 朱健松;一种基于RISC及DSP双内核集成芯片系统的研究[D];广东工业大学;2005年
6 徐德宏;全集成的石化储运计量监控与管理系统研究[D];南京理工大学;2005年
7 李艳;论国际贸易理论的体系与发展[D];黑龙江大学;2005年
8 林森;大规模定制制造企业的产品平台扩展策略及优化分析[D];重庆大学;2005年
9 卢松杰;基于Internet的车辆监控系统设计与实现[D];中国人民解放军信息工程大学;2005年
10 沈青春;大重集团产品数据管理系统的研究与实现[D];大连理工大学;2006年
本文编号：1533065
本文链接：https://www.wllwen.com/kejilunwen/jisuanjikexuelunwen/1533065.html
