基于数据位图的滑动分块算法

发布时间：2018-04-12 10:31

  本文选题：滑动分块算法 + 重复数据检测　； 参考：《计算机研究与发展》2014年S2期

【摘要】：网络中相似的数据文件进行同步与存储的过程中,对数据进行分块是检测数据重复的重要步骤之一,在有效地对数据分块的基础上才能更准确地定位数据间的差异部分.就数据分块方法予以分析总结,在滑动分块算法的基础上,重新将数据文件组织成类似位图的排列形式,对数据位图以列向读取数据信息,形成新的数据分块,并计算列向读取数据的分块指纹信息,以列向数据指纹作为补充校正滑动分块算法定位差异数据能力的不足之处,从而获得更精确的数据差异信息.经实验证明,本方法在同源文件的数据重复检测中效果好于相同条件下的滑动分块方法.
[Abstract]:In the process of synchronizing and storing the similar data files in the network, dividing the data into blocks is one of the important steps to detect the data repetition. The difference part of the data can be located more accurately on the basis of effectively dividing the data into blocks.Based on the sliding block algorithm, the data file is reorganized into a similar arrangement form of bitmap, and the data bitmap is read in column direction to form a new data block.The segmented fingerprint information of column reading data is calculated, and the deficiency of differential data location ability is corrected by column data fingerprint as supplementary correction, so as to obtain more accurate data difference information.The experimental results show that this method is more effective than the sliding block method under the same conditions in data repetition detection of the same source file.
【作者单位】： 中国农业大学农业部农业信息获取技术重点实验室;
【基金】：中央高校基本科研业务费专项资金项目(2013YJ008) 国家科技支撑计划资助项目(2012BAH26B01)
【分类号】：TP333

【参考文献】

相关期刊论文 前3条

1 付印金;肖侬;刘芳;;重复数据删除关键技术研究进展[J];计算机研究与发展;2012年01期

2 徐旦;生拥宏;鞠大鹏;吴建平;汪东升;;高效的两轮远程文件快速同步算法[J];计算机科学与探索;2011年01期

3 敖莉;舒继武;李明强;;重复数据删除技术[J];软件学报;2010年05期

【共引文献】

相关期刊论文 前10条

1 邓亮;胡晓勤;梁刚;;基于重复数据删除技术的SQL Server数据库备份系统[J];计算机安全;2011年07期

2 吴晓勇;李慧娜;;基于文件类型的远程文件备份系统[J];计算机安全;2012年03期

3 吴晓勇;李慧娜;;基于Internet的共享式灾备中心[J];计算机安全;2012年05期

4 张清松;梁智强;;基于硬盘的主机防客体重用性能的检测方法[J];广东电力;2012年07期

5 李向前;;一种基于重复数据删除的Oracle数据库备份系统[J];电脑知识与技术;2013年01期

6 谢垂益;钟红君;;Rabin指纹算法在重复数据检测中的应用研究[J];电脑知识与技术;2013年21期

7 王灿;秦志光;杨磊;杨皓;;基于改进Sparse Indexing的多负载消冗方法[J];电子科技大学学报;2013年05期

8 张志杰;何利力;;烟草工业数据灾备中重复数据删除技术研究[J];工业控制计算机;2013年12期

9 林晓君;;信息系统数据自动备份技术研究[J];电脑知识与技术;2014年08期

10 周斌;王晶奇;张莹;;布隆过滤器在重复数据删除中的应用[J];电脑知识与技术;2014年08期

相关会议论文 前4条

1 彭成;王树鹏;贾志凯;;基于纠删码的数据消冗存储系统可靠性增强研究[A];2010年第16届全国信息存储技术大会（IST2010）论文集[C];2010年

2 吴朋朋;黄玮;杨璐皓;;移动终端通讯录数据同步去重算法[A];2013年中国信息通信研究新进展论文集[C];2014年

3 胡宁玉;杜秀丽;刘焱;卢刚;王运明;;基于快速消冗方法的增量备份策略研究[A];2014第二届中国指挥控制大会论文集（上）[C];2014年

4 吴朋朋;黄玮;杨璐皓;;移动终端通讯录数据同步去重算法[A];2013年中国信息通信研究新进展论文集[C];2014年

相关博士学位论文 前8条

1 谭玉娟;数据备份系统中数据去重技术研究[D];华中科技大学;2012年

2 王灿;基于在线重复数据消除的海量数据处理关键技术研究[D];电子科技大学;2012年

3 魏建生;高性能重复数据检测与删除技术研究[D];华中科技大学;2012年

4 蒋海波;海量数据存储系统的高可靠性关键技术研究与应用[D];电子科技大学;2013年

5 付印金;面向云环境的重复数据删除关键技术研究[D];国防科学技术大学;2013年

6 王国华;高效重复数据删除技术研究[D];华南理工大学;2014年

7 钟睿明;富云：一种跨越异构云平台的互备可靠云存储系统的实现机制研究[D];北京邮电大学;2014年

8 夏文;数据备份系统中冗余数据的高性能消除技术研究[D];华中科技大学;2014年

相关硕士学位论文 前10条

1 丁跃进;网关型病毒防火墙的设计与实现[D];电子科技大学;2011年

2 胡盼盼;在线重复数据删除技术的研究与实现[D];华中科技大学;2011年

3 曾涛;重复数据删除技术的研究与实现[D];华中科技大学;2011年

4 张鹏;在线备份系统中存储服务器的研究与实现[D];华中科技大学;2011年

5 周国惠;支持重复数据删除的网络备份系统中存储服务器的设计与实现[D];华中科技大学;2011年

6 张航;文件同步服务中数据同步传输消重策略研究[D];国防科学技术大学;2011年

7 武铨;广域网数据冗余消除TCP透明代理的设计与实现[D];南京邮电大学;2012年

8 郭永安;网络协议栈下TCP队列管理研究[D];南京邮电大学;2012年

9 毛允亭;广域网数据压缩算法的研究与实现[D];南京邮电大学;2012年

10 吴益坚;移动终端多媒体数据同步的研究与实现[D];北京邮电大学;2012年

【二级参考文献】

相关期刊论文 前2条

1 胡晓勤;卢正添;刘晓洁;李涛;赵庆华;赵奎;;远程文件快速同步方法[J];电子科技大学学报;2008年04期

2 敖莉;舒继武;李明强;;重复数据删除技术[J];软件学报;2010年05期

【相似文献】

相关期刊论文 前5条

1 李芝棠,张江陵,徐则琨;分块同步磁盘I/O系统的分析与设计[J];华中理工大学学报;1992年02期

2 徐煜祥;模拟电路的分块故障诊断法[J];微机发展;1998年06期

3 方旭明,徐锐;印制电路板图形的分块输出[J];计算机应用研究;1990年06期

4 史岳鹏;周溪召;孔素真;;基于优化PSO的LU循环分块方法[J];科学技术与工程;2013年20期

5 ;[J];;年期

，

本文编号：1739361