基于社会计算和机器学习的垃圾邮件快速过滤

发布时间：2017-08-05 13:27

  本文关键词：基于社会计算和机器学习的垃圾邮件快速过滤

  更多相关文章： 社会计算 垃圾邮件过滤 云计算 Hadoop MapReduce

【摘要】：在对当前垃圾邮件过滤方法进行研究和分析的基础上,本文将社交网络的概念用于垃圾邮件识别,并提出了一种将社会计算和机器学习相结合的垃圾邮件过滤方法,以减少垃圾邮件的误判率.为了提高邮件过滤的实时性,我们利用Hadoop平台所提供的MapReduce模型进行分布式并行处理.对比实验结果表明,我们所采用的识别方法的识别准确率和识别效率都有较大的提高,尤其是降低了正常邮件的误判率.
【作者单位】： 北京信息科技大学计算机学院;北京信息科技大学
【关键词】： 社会计算 垃圾邮件过滤 云计算 Hadoop MapReduce
【基金】：国家自然科学基金(61370139) 网络文化与数字传播北京市重点实验室资助项目(ICDD201309)
【分类号】：TP393.098
【正文快照】： i引言电子邮件服务诞生以来,一直在网络交流沟通中扮演着重要的角色.但是.它包含大量推销广告或不良信息.甚至是木马病毒的垃圾邮件日益泛滥,严重影响了人们的通信感受.垃圾邮件不仅使用户花费大量的时间和精力来处理,还占用了大量的服务器空间和带宽资源,并且存在诸多的安全

【参考文献】

中国期刊全文数据库 前4条

1 孙凌宇;冷明;谭云兰;郁松年;;赋权有向图的最小生成树算法[J];计算机工程;2010年02期

2 戴劲松;白英彩;;基于贝叶斯理论的垃圾邮件过滤技术[J];计算机应用与软件;2006年01期

3 王斌,潘文锋;基于内容的垃圾邮件过滤技术综述[J];中文信息学报;2005年05期

4 胡燕;滕桂法;董素芬;王聃;;基于MIME邮件结构的邮件内容提取技术的研究[J];现代图书情报技术;2008年05期

【共引文献】

中国期刊全文数据库 前10条

1 程卫华;尤晋元;;基于内容过滤的反垃圾邮件系统的设计与实现[J];安徽大学学报(自然科学版);2007年03期

2 易军凯;颜婷婷;;垃圾邮件的改进贝叶斯过滤算法[J];北京化工大学学报(自然科学版);2008年06期

3 黄文良;李石坚;刘菊新;徐从富;;一个大规模垃圾短信实时过滤系统[J];北京邮电大学学报;2008年03期

4 董振兴;李荣;陈龙;;一种基于主动学习和TCM-EKNN的邮件过滤方法[J];重庆邮电大学学报(自然科学版);2011年01期

5 邓文韬;王国胤;董振兴;;一种改进KNN个性化邮件过滤的方法[J];重庆邮电大学学报(自然科学版);2011年06期

6 刘洋;曹津宁;刘昊;秦玉平;;基于贝叶斯方法的垃圾邮件处理模型研究[J];长春工程学院学报(自然科学版);2007年03期

7 沈竞;蒋侨;;DSTFA分布式短文本过滤算法[J];四川兵工学报;2011年10期

8 田林;;基于SMTP会话控制的主动式垃圾邮件过滤技术的研究[J];楚雄师范学院学报;2009年06期

9 孙晶涛;张秋余;袁占亭;董建设;;博弈论在邮件特征选择中的应用[J];电子科技大学学报;2011年01期

10 庄锁法;陈兴梅;;客户端防范垃圾邮件策略的探讨[J];电脑知识与技术;2006年23期

中国重要会议论文全文数据库 前7条

1 王琦;;基于贝叶斯决策树算法的垃圾邮件识别机制[A];2011年通信与信息技术新进展——第八届中国通信学会学术年会论文集[C];2011年

2 张艳;李毅;顾健;;垃圾邮件与反垃圾邮件新技术追踪[A];全国计算机安全学术交流会论文集·第二十五卷[C];2010年

3 黄文良;李石坚;刘菊新;徐从富;;大规模垃圾短信实时过滤系统的设计与实现[A];中国通信学会第五届学术年会论文集[C];2008年

4 周立兵;柳景超;;贝叶斯理论在垃圾邮件过滤中的应用分析[A];中国造船工程学会电子技术学术委员会2006学术年会论文集（上册）[C];2006年

5 苏绥;林鸿飞;叶正;;基于字符语言模型的垃圾邮件过滤[A];第四届全国信息检索与内容安全学术会议论文集（上）[C];2008年

6 李劲;岳昆;杭菲璐;;一种基于自适应Markov模型的中文垃圾邮件过滤方法[A];第二十五届中国数据库学术会议论文集（一）[C];2008年

7 吴昊;;基于Lucene技术的邮件取证技术研究[A];第28次全国计算机安全学术交流会论文集[C];2013年

中国博士学位论文全文数据库 前10条

1 孙晶涛;基于内容的垃圾邮件过滤技术研究[D];兰州理工大学;2010年

2 刘伍颖;面向垃圾信息过滤的主动多域学习文本分类方法研究[D];国防科学技术大学;2011年

3 曹渝昆;基于神经网络和模糊逻辑的智能推荐系统研究[D];重庆大学;2006年

4 何申;面向3G移动通信网络的安全框架研究[D];中国科学技术大学;2007年

5 刘震;垃圾邮件过滤理论和关键技术研究[D];电子科技大学;2008年

6 黄文良;垃圾短信过滤关键技术研究[D];浙江大学;2008年

7 陈黎飞;高维数据的聚类方法研究与应用[D];厦门大学;2008年

8 惠孛;基于即时分类的垃圾邮件过滤关键技术的研究[D];电子科技大学;2009年

9 李东方;Web 2.0环境下互联网信息过滤理论与方法研究[D];中国科学技术大学;2009年

10 陈彬;垃圾邮件的特征选择及检测方法研究[D];华南理工大学;2010年

中国硕士学位论文全文数据库 前10条

1 岳广飞;基于二次搜索的搜索引擎技术研究[D];山东科技大学;2010年

2 刘维会;不平衡数据集上支持向量机算法研究[D];山东科技大学;2010年

3 于洪霞;基于SVM的中文垃圾邮件过滤[D];哈尔滨工程大学;2009年

4 李福转;基于内容的垃圾邮件过滤技术的研究[D];电子科技大学;2010年

5 石晶;一种高效垃圾短信过滤系统的实现[D];电子科技大学;2010年

6 苏保君;在线组合分类器应用于大规模垃圾邮件过滤的研究[D];浙江大学;2010年

7 江华丽;基于嵌入式与神经网络的邮件过滤系统设计[D];福建师范大学;2010年

8 徐丽平;基于内容挖掘的中文垃圾邮件过滤技术研究[D];东北财经大学;2010年

9 王海波;垃圾短信的屏蔽机制与应用研究[D];东华大学;2011年

10 陈强;基于贝叶斯方法的垃圾邮件过滤技术的研究[D];沈阳工业大学;2011年

【二级参考文献】

中国期刊全文数据库 前10条

1 赵晓明,郑少仁;电子邮件过滤器的分析与设计[J];东南大学学报(自然科学版);2001年05期

2 张长君;电子邮件的一种过滤方法[J];计算机安全;2002年02期

3 落红卫,刘建毅,王枞,钟义信;智能邮件过滤系统的研究与实现[J];机电产品开发与创新;2003年01期

4 孙凌宇;薛锦云;;最小生成树算法的PAR方法形式化推导[J];计算机工程;2006年21期

5 张充;苗秀芬;司建辉;史青宣;田学东;;基于最小生成树聚类的中文版面分割法[J];计算机工程;2008年15期

6 谭立球,谷士文,费耀平;个人化电子邮件自动过滤系统的设计[J];计算机应用;2002年06期

7 陈华辉;一种基于潜在语义索引的“垃圾”邮件过滤方法[J];计算机应用研究;2000年10期

8 王庆波,方滨兴,云晓春;电子邮件过滤检测系统的设计与实现[J];计算机应用研究;2000年10期

9 刘斌,黄铁军,程军,高文;一种新的基于统计的自动文本分类方法[J];中文信息学报;2002年06期

10 李渝勤,孙丽华;基于规则的自动分类在文本分类中的应用[J];中文信息学报;2004年04期

【相似文献】

中国期刊全文数据库 前10条

1 李雯;刘培玉;;基于贝叶斯的垃圾邮件过滤算法的研究[J];计算机工程与应用;2007年23期

2 张秋余;李建建;余冬梅;董建设;王静;贺洋伟;;基于图像相似性检测的图像垃圾邮件过滤方法[J];兰州理工大学学报;2008年04期

3 李融,曹小春;浅析反垃圾电子邮件技术[J];科技创业月刊;2004年06期

4 卓高明;林世平;;邮件过滤中信息增益方法的改进[J];计算机工程与应用;2006年S1期

5 叶振宇,刘晶;基于模糊模式识别的中文邮件过滤探讨[J];计算机时代;2004年11期

6 林祥,荆涛,李生红;前置式邮件过滤系统的设计与实现[J];计算机工程与应用;2005年02期

7 熊忠阳;杜圣东;张玉芳;;一种改进的支持向量机邮件分类器[J];计算机科学;2007年09期

8 陆青梅;尹四清;;基于贝叶斯定理的垃圾邮件分类技术研究[J];信息技术;2008年02期

9 尹军,谭晓兰;校园网络中如何防范垃圾邮件[J];衡阳师范学院学报;2005年03期

10 石艳荣;;反垃圾邮件技术[J];内蒙古石油化工;2006年01期

中国重要会议论文全文数据库 前10条

1 张相於;陈继东;李玉坤;孟小峰;;TEXEM:一种基于实体的邮件任务提取策略[A];第二十五届中国数据库学术会议论文集（二）[C];2008年

2 张晶;姚建民;董守斌;张凌;;基于自然语言同现词汇的邮件过滤[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年

3 张志斌;施水才;吕学强;;基于贝叶斯方法的中文垃圾邮件过滤技术综述[A];中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集[C];2006年

4 沈卫超;;反垃圾邮件技术与产品分析[A];第二十次全国计算机安全学术交流会论文集[C];2005年

5 仇小锋;陈鸣;贾永兴;;垃圾邮件及其防范技术[A];第九届全国青年通信学术会议论文集[C];2004年

6 薛亚楠;廖闻剑;彭艳兵;;垃圾邮件行为识别研究[A];中国电子学会第十六届信息论学术年会论文集[C];2009年

7 顾琳;;利用Foxmail辅助电子审稿[A];第四届全国核心期刊与期刊国际化、网络化研讨会论文集[C];2006年

8 石艳荣;孙丹宁;贺永强;;一种基于内容的邮件过滤模型的研究与性能分析[A];2007通信理论与技术新发展——第十二届全国青年通信学术会议论文集（上册）[C];2007年

9 赖均;黄迪明;胡德昆;;反垃圾邮件机的研究与实现[A];四川省通信学会二零零四年学术年会论文集（二）[C];2004年

10 沈卫超;;邮件过滤器系统的设计与实现[A];中国工程物理研究院科技年报（2001）[C];2001年

中国重要报纸全文数据库 前10条

1 乔珊;备份你的邮件过滤规则[N];电脑报;2004年

2 郑惠荣;利用人工智能进行邮件过滤[N];中国计算机报;2003年

3 ;冠群金辰赤宵KILL邮件过滤网关— 采用独立的硬件平台杀毒[N];计算机世界;2003年

4 黄智军;IronMail帮保险业过滤邮件[N];计算机世界;2007年

5 唐慧;让电子邮件更安全[N];网络世界;2002年

6 ;不止是垃圾邮件过滤[N];网络世界;2005年

7 温远;构筑E-mail安全堡垒[N];中国电子报;2003年

8 《计算机世界》评测实验室 李韬;构建一体化安全方案[N];计算机世界;2006年

9 吴倩;让E-mail更安全[N];中国计算机报;2002年

10 ;Sobig．F缘何成为网络［杀手］[N];中国电脑教育报;2003年

中国博士学位论文全文数据库 前10条

1 邓蔚;垃圾邮件过滤中的敌手分类问题研究[D];电子科技大学;2011年

2 董建设;协作式垃圾邮件过滤关键技术研究[D];兰州理工大学;2009年

3 王会珍;文本内容分类和主题追踪关键技术研究[D];东北大学;2008年

4 孙晶涛;基于内容的垃圾邮件过滤技术研究[D];兰州理工大学;2010年

5 刘卫红;垃圾邮件检测与过滤关键技术研究[D];华南理工大学;2010年

6 董大凡;基于度量空间的P2P网络相似搜索技术研究及应用[D];南开大学;2010年

7 程红蓉;垃圾图像特征提取与选择研究[D];电子科技大学;2011年

8 李鹏;图像型垃圾邮件过滤关键技术研究[D];哈尔滨工业大学;2013年

9 王美珍;垃圾邮件行为模式识别与过滤方法研究[D];华中科技大学;2009年

10 卢敏;具有自然分组特性文本的分类研究[D];南开大学;2013年

中国硕士学位论文全文数据库 前10条

1 杨大伟;基于Sendmail的电子邮件网关系统设计与实现[D];哈尔滨工程大学;2005年

2 李学勇;基于三层网络设备的邮件过滤系统[D];华北工学院;2003年

3 杨盛;电子邮件过滤系统的研究与设计[D];中南大学;2005年

4 吕栗;邮件过滤系统中数据库的性能优化[D];哈尔滨工程大学;2005年

5 肖明;基于SVM的智能邮件过滤系统研究与实现[D];电子科技大学;2005年

6 杨丽华;基于内容的垃圾邮件过滤技术研究[D];西南交通大学;2006年

7 徐卫;电子邮件预处理与过滤管理系统的研究与设计[D];苏州大学;2006年

8 石霞军;邮件信息过滤算法研究与实现[D];湖南大学;2002年

9 周俊怡;一种混合垃圾邮件过滤技术研究[D];电子科技大学;2009年

10 林昊;基于Linux内核的邮件过滤系统的研究与实现[D];电子科技大学;2005年

，

本文编号：625143