重复数据删除技术的存储空间利用率测评研究

发布时间：2018-02-27 05:30

  本文关键词： 重复数据删除技术 存储空间利用率 存储测评 绿色存储 大数据　出处：《计算机研究与发展》2014年S1期 　论文类型：期刊论文

【摘要】：在大数据时代,为了提高存储空间利用率,重复数据删除技术被广泛应用.然而,重复数据删除技术的重删效果如何评价,它对存储系统的存储空间利用率影响程度如何等问题,目前还没有有效的测评指标和测评方法来解决.为此,对3种典型的重复数据删除技术进行了分析,研究了存储空间利用率的测评指标和测评方法,然后通过理论分析和真实数据实验对其可行性和有效性进行了验证.分析和实验结果表明:设计的测评指标和测评方法实际可行,能定量的评估存储空间利用率,有利于数据中心存储效率的提高,从而实现绿色存储和节能减排,并能减少企业的资源浪费和提高投资回报率.
[Abstract]:In the era of big data, in order to improve the utilization of storage space, repeated data deletion technology was widely used. However, how to evaluate the effect of repeated data deletion technology, At present, there are no effective evaluation indexes and methods to solve the problems, such as how to influence the storage space utilization ratio of storage system. Therefore, three typical repeated data deletion techniques are analyzed. The evaluation index and method of storage space utilization ratio are studied. Then the feasibility and validity are verified by theoretical analysis and real data experiment. The analysis and experimental results show that the designed evaluation index and evaluation method are practical and can quantitatively evaluate the utilization ratio of storage space. It can improve the efficiency of data center storage, realize green storage, save energy and reduce emissions, reduce the waste of resources and improve the rate of return on investment.
【作者单位】： 国家电子计算机质量监督检验中心(中国电子科技集团公司第十五研究所);中国传媒大学计算机学院;
【基金】：国家科技支撑计划基金项目(2011BAH04B05)
【分类号】：TP311.13;TP333

【参考文献】

相关期刊论文 前1条

1 敖莉;舒继武;李明强;;重复数据删除技术[J];软件学报;2010年05期

【共引文献】

相关期刊论文 前10条

1 邓亮;胡晓勤;梁刚;;基于重复数据删除技术的SQL Server数据库备份系统[J];计算机安全;2011年07期

2 吴晓勇;李慧娜;;基于文件类型的远程文件备份系统[J];计算机安全;2012年03期

3 吴晓勇;李慧娜;;基于Internet的共享式灾备中心[J];计算机安全;2012年05期

4 张清松;梁智强;;基于硬盘的主机防客体重用性能的检测方法[J];广东电力;2012年07期

5 李向前;;一种基于重复数据删除的Oracle数据库备份系统[J];电脑知识与技术;2013年01期

6 王灿;秦志光;杨磊;杨皓;;基于改进Sparse Indexing的多负载消冗方法[J];电子科技大学学报;2013年05期

7 林晓君;;信息系统数据自动备份技术研究[J];电脑知识与技术;2014年08期

8 周斌;王晶奇;张莹;;布隆过滤器在重复数据删除中的应用[J];电脑知识与技术;2014年08期

9 王小妮;;多层次级别确保数据的高可靠性[J];中国管理信息化;2014年15期

10 阎芳;谭毓安;孙志卓;刘靖宇;;重复数据删除系统元数据存储布局研究[J];北京理工大学学报;2014年05期

相关会议论文 前3条

1 彭成;王树鹏;贾志凯;;基于纠删码的数据消冗存储系统可靠性增强研究[A];2010年第16届全国信息存储技术大会（IST2010）论文集[C];2010年

2 吴朋朋;黄玮;杨璐皓;;移动终端通讯录数据同步去重算法[A];2013年中国信息通信研究新进展论文集[C];2014年

3 胡宁玉;杜秀丽;刘焱;卢刚;王运明;;基于快速消冗方法的增量备份策略研究[A];2014第二届中国指挥控制大会论文集（上）[C];2014年

相关博士学位论文 前6条

1 谭玉娟;数据备份系统中数据去重技术研究[D];华中科技大学;2012年

2 王灿;基于在线重复数据消除的海量数据处理关键技术研究[D];电子科技大学;2012年

3 魏建生;高性能重复数据检测与删除技术研究[D];华中科技大学;2012年

4 蒋海波;海量数据存储系统的高可靠性关键技术研究与应用[D];电子科技大学;2013年

5 付印金;面向云环境的重复数据删除关键技术研究[D];国防科学技术大学;2013年

6 王国华;高效重复数据删除技术研究[D];华南理工大学;2014年

相关硕士学位论文 前10条

1 丁跃进;网关型病毒防火墙的设计与实现[D];电子科技大学;2011年

2 胡盼盼;在线重复数据删除技术的研究与实现[D];华中科技大学;2011年

3 曾涛;重复数据删除技术的研究与实现[D];华中科技大学;2011年

4 张鹏;在线备份系统中存储服务器的研究与实现[D];华中科技大学;2011年

5 周国惠;支持重复数据删除的网络备份系统中存储服务器的设计与实现[D];华中科技大学;2011年

6 张航;文件同步服务中数据同步传输消重策略研究[D];国防科学技术大学;2011年

7 武铨;广域网数据冗余消除TCP透明代理的设计与实现[D];南京邮电大学;2012年

8 郭永安;网络协议栈下TCP队列管理研究[D];南京邮电大学;2012年

9 毛允亭;广域网数据压缩算法的研究与实现[D];南京邮电大学;2012年

10 肖红凤;基于数据中心的数据访问服务模型研究[D];东北石油大学;2012年

【相似文献】

相关期刊论文 前10条

1 卢敏;;“零距离”重复数据删除[J];软件世界;2008年11期

2 卢敏;;点亮“重复数据删除”[J];软件世界;2008年06期

3 徐立洋;;选购重复数据删除方案 软硬兼施剔除鸡肋数据[J];中国计算机用户;2009年08期

4 邢延刚;;删除重复值我有妙法[J];电脑迷;2009年09期

5 李刚;;重复数据删除走向“源头”[J];中国计算机用户;2009年16期

6 敖莉;舒继武;李明强;;重复数据删除技术[J];软件学报;2010年05期

7 王树鹏;;重复数据删除技术的发展及应用[J];中兴通讯技术;2010年05期

8 倪显利;;重复数据删除技术的应用与实践[J];中国金融电脑;2011年05期

9 付印金;肖侬;刘芳;;重复数据删除关键技术研究进展[J];计算机研究与发展;2012年01期

10 拜路;;重复数据删除技术分析及其对存储系统性能的影响[J];电脑编程技巧与维护;2012年06期

相关会议论文 前3条

1 贾志凯;王树鹏;陈光达;彭成;;一种并行层次化的重复数据删除技术[A];2010年第16届全国信息存储技术大会（IST2010）论文集[C];2010年

2 杨廷梧;;基于重复数据删除的靶场试验信息存储技术[A];2009年西部光子学学术会议论文摘要集[C];2009年

3 肖钧;黄亮;;虚拟化搭配去重,双剑合璧更给力[A];2011年CAD/CAM学术交流会议论文集[C];2011年

相关重要报纸文章 前10条

1 本报记者 郭涛;基于硬件的重复数据删除效率更高[N];中国计算机报;2009年

2 朱皎;重复数据删除技术渐成主流[N];电脑商报;2009年

3 邢小萍;重复数据删除技术渐入佳境[N];网络世界;2009年

4 郭涛;重复数据删除比越大越好吗？[N];中国计算机报;2007年

5 中国传媒大学计算机学院 朱立谷;重复数据删除：改写存储行业经济规则？[N];中国计算机报;2007年

6 刘学习;删除重复数据[N];计算机世界;2006年

7 张群英;重复数据删除技术异军突起[N];网络世界;2006年

8 张峰;重复数据删除 难走的平衡木[N];网络世界;2007年

9 王s，

本文编号：1541387