一种云存储系统中重复数据删除机制

发布时间：2019-05-20 04:01

【摘要】：基于现有重复数据删除策略,提出了一种基于负载均衡的C/S双端延迟重复数据删除方法。利用基于类型的数据分块方法将数据块分成若干块;利用MD5提取指纹值,与客户端本地的索引表对比指纹,若相同则用指针取代该数据块,具有数据块指纹和数据类型的索引表一同发送至控制器;控制器在收到客户端的请求后,首先根据自己实时监控得到的各服务器的当前状态来选择最佳目标存储节点;服务器端根据数据类型查询不同的索引表以缩小查找范围。对提出的方法的重复数据删除率进行了实验验证,结果表明该机制具有较好的性能表现。
[Abstract]:Based on the existing duplicate data deletion strategy, a C / S dual-terminal delayed duplicate data deletion method based on load balancing is proposed. The data block is divided into several blocks by using the type-based data block method. The fingerprint value is extracted by MD5, and the fingerprint is compared with the local index table of the client. If the same, the pointer is used to replace the data block, and the fingerprint of the data block and the index table of the data type are sent to the controller together. After receiving the request from the client, the controller first selects the best target storage node according to the current state of each server monitored in real time, and the server queries different index tables according to the data type to narrow the search range. The repeated data deletion rate of the proposed method is verified by experiments, and the results show that the mechanism has good performance.
【作者单位】： 南京财经大学江苏省现代服务业研究院;南京邮电大学计算机学院;
【基金】：江苏省高校优势学科建设工程资助项目(YXK999) 江苏省现代服务业研究院专项科研基金资助项目(LSZ200003)
【分类号】：TP333

【参考文献】

相关博士学位论文 前1条

1 杨天明;网络备份中重复数据删除技术研究[D];华中科技大学;2010年

【共引文献】

相关期刊论文 前1条

1 尤红桃;张延园;刘胜;;Linux下高效存储优化的研究[J];计算机与现代化;2012年11期

相关博士学位论文 前1条

1 王灿;基于在线重复数据消除的海量数据处理关键技术研究[D];电子科技大学;2012年

相关硕士学位论文 前7条

1 韩书婷;基于在线重复数据删除技术的Openstack镜像管理系统的设计与实现[D];杭州电子科技大学;2013年

2 何磊;虚拟磁带库中重复数据删除技术的研究与设计[D];西南交通大学;2013年

3 邓长生;基于重复数据消除的数据备份关键技术研究[D];电子科技大学;2013年

4 彭飞;光盘库备份系统中重复数据删除技术的研究与实现[D];华中科技大学;2013年

5 王兴;重复数据删除系统的性能优化研究[D];华中科技大学;2013年

6 周旋;云网关上重复数据删除的设计与实现[D];华中科技大学;2013年

7 刘容;备份系统中全局数据去重技术的研究[D];华中科技大学;2013年

【二级参考文献】

相关期刊论文 前1条

1 ;Scalable high performance de-duplication backup via hash join[J];Journal of Zhejiang University-Science C(Computer & Electronics);2010年05期

相关博士学位论文 前1条

1 刘群;基于可扩展对象的海量存储系统研究[D];华中科技大学;2006年

相关硕士学位论文 前1条

1 贺翔;一种基于NDMP的块级备份和数据管理方法及其实现[D];中国科学院研究生院（计算技术研究所）;2006年

【相似文献】

相关期刊论文 前10条

1 梁立,陈宇悝,盛德君;成倍提高HP机打印速度的有效方法[J];中文信息;1997年03期

2 卢敏;;点亮“重复数据删除”[J];软件世界;2008年06期

3 Hu Yoshida;;2008年存储需求的5大新趋势[J];通讯世界;2008年01期

4 Hu Yoshida;;2008年存储需求的新趋势[J];每周电脑报;2008年03期

5 本刊编辑部;;新技术解决数据存储老问题[J];华南金融电脑;2008年08期

6 刘谦;;磁盘归档将逐渐取代磁带[J];每周电脑报;2007年40期

7 ;新产品[J];中国计算机用户;2008年20期

8 陈莹;罗杰;;“云”在学校计算机公共服务平台的应用探讨[J];硅谷;2009年19期

9 范晓俊;用单片机制作逻辑分析器[J];电子世界;1997年05期

10 殷世敏;实用单片微机数据排序[J];山西电子技术;1996年03期

相关重要报纸文章 前10条

1 SEPATON技术支持中心 杨涛;SEPATON:重复数据删除五步走[N];中国计算机报;2007年

2 日立数据系统公司首席技术执行官 Hu Yoshida;五大技术推动2008年存储需求新趋势[N];电子资讯时报;2008年

3 本报记者 李洋;向冗余数据要空间[N];计算机世界;2008年

4 ;EMC:大型数据中心节能降耗方案[N];计算机世界;2007年

5 本报记者 张峰;存储成本运筹学[N];网络世界;2006年

6 傅红;如何最简单实现从DAS向SAN的迁移[N];中国信息报;2003年

7 中国传媒大学计算机学院 朱立谷;重复数据删除：改写存储行业经济规则？[N];中国计算机报;2007年

8 清水;为存储“减负”[N];计算机世界;2010年

9 本报记者 王琨月;存储TCO应注重重复数据删除[N];网络世界;2008年

10 《计算机世界》方案评估中心 程鸿邋《网络存储》 郭平;绿色数据中心什么样？[N];计算机世界;2007年

相关博士学位论文 前1条

1 付印金;面向云环境的重复数据删除关键技术研究[D];国防科学技术大学;2013年

相关硕士学位论文 前10条

1 戈星晨;面向移动终端的数据去重研究[D];山东大学;2014年

2 尚颖丹;面向文件级重复数据删除的稀疏索引技术[D];国防科学技术大学;2012年

3 许文龙;基于Hadoop分布式系统的重复数据检测技术研究与应用[D];湖南大学;2013年

4 石俊杰;基于云存储的重复数据删除文件系统设计与实现[D];华中科技大学;2013年

5 张甲燃;重复数据删除技术研究[D];山东大学;2013年

6 曾涛;重复数据删除技术的研究与实现[D];华中科技大学;2011年

7 张波;HDFS下文件存储研究与优化[D];广东工业大学;2013年

8 王兴;重复数据删除系统的性能优化研究[D];华中科技大学;2013年

9 张兰英;基于云存储的教育管理系统研究与设计[D];北京邮电大学;2013年

10 沈瑞清;云存储中避免重复数据存储机制研究[D];云南大学;2013年

，

本文编号：2481330