基于Hadoop平台的并行特征匹配算法研究

发布时间：2018-01-05 18:06

  本文关键词：基于Hadoop平台的并行特征匹配算法研究　出处：《计算机应用研究》2014年11期 　论文类型：期刊论文

  更多相关文章： 分布式文件系统 大数据 特征匹配 并行扫描

【摘要】：很多大企业采用Hadoop分布式文件系统来存储海量数据,而传统的病毒扫描主要针对单机系统环境。研究如何并行化病毒扫描中的核心特征匹配算法来处理分布式海量数据。在Hadoop平台下,基于MapReduce并行编程模型来实现大数据高效的病毒扫描,特别是针对Hadoop处理海量小文件效率低的问题,通过将小文件合并,再利用索引来提高海量小文件的处理效率。实验结果表明,提出的并行特征匹配算法可以显著降低处理时间,适用于大数据的病毒扫描。
[Abstract]:Many large enterprises use Hadoop distributed file system to store massive data. Traditional virus scanning is mainly aimed at single computer system environment. This paper studies how to parallelize the core feature matching algorithm in virus scanning to deal with distributed mass data. In the Hadoop platform. Based on the parallel programming model of MapReduce to realize big data's efficient virus scanning, especially to solve the problem of low efficiency of Hadoop processing large amount of small files, by merging small files. The experimental results show that the proposed parallel feature matching algorithm can significantly reduce the processing time and is suitable for big data's virus scanning.
【作者单位】： 北京信息科技大学计算机学院;北京信息科技大学网络文化与数字传播北京市重点实验室;
【基金】：北京市优秀人才培养资助项目(2012D005007000009) 北京信息科技大学网络文化与数字传播北京市重点实验室开放课题(ICDD201306) 北京市属高等学校创新团队建设与教师职业发展计划项目(IDHT20130519)
【分类号】：TP333
【正文快照】： 0引言随着互联网的快速发展,各种移动终端的迅速增加,使得企业需要处理的数据量越来越大。分布式文件系统成了很多企业用来存储海量数据的工具,其中HDFS(Hadoop distributedfile system)[1],即Hadoop[2]分布式文件系统是被大家广泛认可的分布式文件系统之一,可以较好地解决海

【参考文献】

相关期刊论文 前4条

1 崔杰;李陶深;兰红星;;基于Hadoop的海量数据存储平台设计与开发[J];计算机研究与发展;2012年S1期

2 赵卫中;马慧芳;傅燕翔;史忠植;;基于云计算平台Hadoop的并行k-means聚类算法设计研究[J];计算机科学;2011年10期

3 张春明;芮建武;何婷婷;;一种Hadoop小文件存储和读取的方法[J];计算机应用与软件;2012年11期

4 余思;桂小林;黄汝维;庄威;;一种提高云存储中小文件存储效率的方案[J];西安交通大学学报;2011年06期

【共引文献】

相关期刊论文 前10条

1 董屹;王昆鹏;;云存储在数字图书馆中的应用[J];电脑知识与技术;2013年09期

2 李亮;;全台网环境下的云视频素材转码系统的设计[J];电视技术;2013年10期

3 张媛;;基于Hadoop云平台的数据传输保护研究[J];甘肃联合大学学报(自然科学版);2013年05期

4 钟锐;刘立刚;;基于Map-Reduce的FP-Growth算法研究[J];赣南师范学院学报;2013年06期

5 赵建光;;云计算环境下并行分布式数据挖掘平台研究[J];电脑开发与应用;2014年07期

6 吴晨;朱庆;张叶廷;许伟平;;基于混合瓦片的海量DEM/DOM数据高效存储管理方法——以应急救灾数据库为例[J];地理信息世界;2014年03期

7 唐世庆;李云龙;田凤明;胡海荣;;基于Hadoop的云计算与存储平台研究与实现[J];四川兵工学报;2014年08期

8 费贤举;王树锋;王文;;一种海量大数据云存储系统框架设计[J];常州工学院学报;2014年03期

9 宋玲;戚云枫;齐东阳;;分布式k-means聚类算法的改进[J];广西大学学报(自然科学版);2014年05期

10 赵盈颖;;Hadoop在海量数据分析中的应用[J];硅谷;2014年21期

相关会议论文 前2条

1 生昕格;;基于hadoop的交通云数据处理平台设计[A];第七届中国智能交通年会优秀论文集——智能交通应用[C];2012年

2 Liang Chen;Jing Qiu;Xueping Gu;;Design of Cloud Computing Architecture for DIOT[A];2013教育技术与信息系统国际会议论文集[C];2013年

相关博士学位论文 前2条

1 杨永全;饮食健康中的食物体积估算云计算技术研究[D];中国海洋大学;2013年

2 郑晓峰;道路运输信息系统的数据挖掘方法研究与应用[D];华南理工大学;2014年

相关硕士学位论文 前10条

1 林旭;云存储中的数据删除技术研究[D];上海交通大学;2011年

2 张喜;海量数据存储模式的研究[D];广东工业大学;2012年

3 苗苗苗;数据挖掘中海量数据处理算法的研究与实现[D];西安建筑科技大学;2012年

4 童明;基于HDFS的分布式存储研究与应用[D];华中科技大学;2012年

5 廖松有;模糊C均值与K均值聚类算法及其并行化[D];太原科技大学;2013年

6 李礼;面向云计算的知识共享服务支持系统研究[D];武汉纺织大学;2013年

7 刘晓娟;省地县一体化电力调度管理系统通用权限方案[D];大连理工大学;2013年

8 钱进进;私有云安全存储技术的研究与实现[D];广东工业大学;2013年

9 王雅光;基于Hadoop平台的DBSCAN算法应用研究[D];广东工业大学;2013年

10 朱岩;Hadoop云存储策略的研究与优化[D];广东工业大学;2013年

【二级参考文献】

相关期刊论文 前5条

1 马立平;统计数据标准化──无量纲化方法──现代统计分析方法的学与用(三)[J];北京统计;2000年03期

2 李俊,李勇;联邦式异构数据库应用系统的集成框架和实现技术的研究[J];计算机应用研究;2001年04期

3 余华鸿;李颖;张玉川;;数据仓库概述[J];科技信息(科学教研);2007年13期

4 陈康;郑纬民;;云计算:系统实例与研究现状[J];软件学报;2009年05期

5 刘立坤;武永卫;徐鹏志;杨广文;;CorsairFS:一种面向校园网的分布式文件系统[J];西安交通大学学报;2009年08期

【相似文献】

相关期刊论文 前10条

1 闫兴美,陈树中;一种快速的图象特征匹配算法[J];计算机工程与科学;2001年04期

2 梁矗军;华艳;;一种基于松弛特征关联的3D人脸多特征匹配算法[J];科技通报;2012年12期

3 牛斌;王庆;沈微微;黄秋凤;张晗s，

本文编号：1384230