基于多特征匹配和Bloom filter的重复数据删除算法

发布时间：2017-09-14 19:18

  本文关键词：基于多特征匹配和Bloom filter的重复数据删除算法

  更多相关文章： 计算技术 重复数据删除 多特征匹配 布隆过滤器 EB算法 磁盘优化

【摘要】：针对EB(extreme binning)算法重复数据删除率低,磁盘I/O开销大的缺陷,提出基于多特征匹配和Bloom filter的重复数据删除算法DBMB(deduplication based on multi-feature matching and Bloom filter).将小文件聚合为局部性文件单元,作为一个整体进行去重处理,采用最大、最小以及中间数据块ID的多重相似性特征进行匹配,并基于Bloom filter优化磁盘数据块的查找和匹配过程.结果表明,DBMB算法能有效提升重复数据删除率,降低算法执行时间,同时减少处理小文件的内存开销,性能提升显著.
【作者单位】： 国家电网公司北京电力医院信息通讯部;电子科技大学计算机科学与工程学院;
【关键词】： 计算技术 重复数据删除 多特征匹配 布隆过滤器 EB算法 磁盘优化
【基金】：国家自然科学基金资助项目(61300192) 中央高校基本科研业务费资助项目(ZYGX2014J052) 北京电力医院一体化运维监控与管理资助项目~~
【分类号】：TP333;TP301.6
【正文快照】： Received:2016-08-12;Accepted:2016-09-05Foundation:National Natural Science Foundation of China(61300192);Fundamental Research Funds for the Central Universities(ZYGX2014J052);Integration of Operational Monitoring and Management Project of Beijing Electri

【相似文献】

中国期刊全文数据库 前10条

1 肖明忠,代亚非,李晓明;拆分型Bloom Filter[J];电子学报;2004年02期

2 任洪庆;卢建朱;许娇阳;;基于Bloom Filter的加密数据库字段认证方案[J];计算机工程与设计;2011年03期

3 段迅;李坚石;清水敬司;;基于距离加权Bloom filter的网络路由算法[J];海军工程大学学报;2006年04期

4 徐娜;刘四维;汪翔;倪卫明;;基于Bloom Filter的网页去重算法[J];微型电脑应用;2011年03期

5 徐克付;齐德昱;郑伟平;钱正平;;一种基于Bloom Filter的正则表达式集合快速搜索算法[J];华南理工大学学报(自然科学版);2009年04期

6 贾明志;伊鹏;汪斌强;;一种基于Bloom filter的高速浮动关键词匹配算法[J];通信技术;2008年08期

7 罗理;刘响光;胡振;周姣;张刚伟;李启平;;基于Bloom Filter的海量数据分布式快速匹配算法研究[J];计算机与数字工程;2011年03期

8 曹杨雄;陈泽锋;;Bloom filter的硬件字符串匹配设计研究[J];信息通信;2012年02期

9 薛开平;洪佩琳;郭婵;卢汉成;骆连合;;信源定位方案中基于Bloom Filter存储的概率日志记录方法研究[J];电子与信息学报;2009年11期

10 林海;;一种基于Bloom Filter的频繁模式挖掘算法[J];数学的实践与认识;2009年03期

中国硕士学位论文全文数据库 前4条

1 白建东;基于Bloom Filter的报文分类算法研究[D];国防科学技术大学;2007年

2 王新光;基于Bloom Filter的实时蠕虫检测系统设计与实现[D];国防科学技术大学;2008年

3 朱行林;基于Bloom Filter的密文全文检索技术研究[D];中国工程物理研究院;2012年

4 张磊;利用Bloom Filter的木马报文检测系统设计与实现[D];电子科技大学;2011年

，

本文编号：851840