高校办公系统垃圾邮件过滤DTFS算法的设计与实现

发布时间：2019-07-28 19:46

【摘要】：近些年来,有一些不法分子利用电子邮件进行了广告信息和不良信息的传播,这种传播为社会带来了很大危害,在高校内部办公网络中,高校办公邮件系统中收到垃圾邮件的现象也十分普遍,不仅造成了严重的不良影响,同时也给用户带来了消极体验,影响了人们的日常生活,而且还可能会对社会的和谐带来不良的影响。因此,高校办公过程中,垃圾邮件的过滤和处理已经成为了一个不容忽视的问题,业已成为高校应用软件开发者关注的重点问题。本文就是基于该研究背景,对基于信息增益的垃圾邮件特征选择算法进行了研究,设计了高校办公系统垃圾邮件过滤DTFS算法。首先分析了一个完整的高校垃圾邮件过滤模型的组成部分与各部分的功能,整个模型包括:文本预处理模型、特征降维模型、文本表示模型、分类器模型和结果评估模型等五部分。在详细分析了各部分模型的构成原理与主流技术以外,对特征降维算法进行了深入的研究,分析了特征降维对于文本分类的重要性,并且设计了一种改进的特征选择DTFS算法。在对文本分类模型进行细致分析的基础上,本文发现特征降维对于一个分类系统来讲是必不可少的组成部分,由于巨大的特征空间不仅会为计算机的处理带来沉重的负担,并且在特征空间当中仍然包含了许多冗余信息,这些信息严重的影响了最终的分类结果,特征降维的目的就是在不降低分类器性能的基础上,将特征空间的维度尽可能的减小。传统的特征降维方法有两种:特征提取和特征选择。前者是一种基于特征空间变化,将原始特征空间通过某种特定规则映射到新的低维特征空间,并且在这一过程当中尽可能的减少特征信息的损失;后者则是利用一定的规则从原始特征集合当中提取出一个特征子集合,这个子集合在最大程度上代表原始特征集合。通过验证发现,本文采用的特征降维算法不仅可以在很大程度上降低特征空间的维度,并且可以在一定程度提高分类器的分类性能。在设计了改进算法的基础上,本文将该DTFS算法运用到某高校办公系统垃圾邮件过滤特征选择模型中进行性能分析,该特征选择模型包括分词处理、去停用词处理、词干提取以及特征选择等功能。在文本分类过程当中,采用数据挖掘软件Weka,利用Weka输出分类结果,与传统的特征选择算法进行对比分析。在分析了高校垃圾邮件过滤实验结果的基础上,对本文设计的算法进行时间复杂度以及空间复杂度的分析,发现本文的时间复杂度与空间复杂度均未超过传统的特征选择算法。本文所对应的高校垃圾邮件过滤在运用文档频率、互信息、信息增益和卡方统计时与运用设计的DTFS算法进行比较,在查全率、查准率和F1值等评价指标上来衡量算法的优劣,本文设计的DTFS算法不仅性能占优,而且计算复杂度更小。应用到高校办公系统垃圾邮件过滤中后发现该系统能够有效对垃圾邮件进行拦截。
【学位授予单位】：东北大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP317.1;TP393.098

【相似文献】

相关期刊论文 前10条

1 张羿;周建国;晏蒲柳;;垃圾邮件过滤系统的研究与实现[J];计算机工程;2006年18期

2 徐卫;;一种垃圾邮件过滤网关的设计[J];电脑知识与技术;2006年35期

3 项涛;龚俭;丁伟;;垃圾邮件过滤系统的评估模型研究[J];计算机工程与设计;2007年18期

4 欧德宁;马军;;基于内含链接特征分析的垃圾邮件过滤技术[J];郑州大学学报(理学版);2009年02期

5 金彩琴;裘国永;;对垃圾邮件过滤技术的问题研究[J];计算机技术与发展;2011年09期

6 丁上凌;吕后坤;;垃圾邮件过滤技术研究[J];漯河职业技术学院学报;2012年02期

7 赵文清;一种混合型垃圾邮件过滤系统的研究与设计[J];山西电子技术;2004年06期

8 陈长伟;刘罡;洪跃枫;;电子垃圾邮件过滤技术的应用[J];办公自动化;2004年06期

9 刘震,佘X,周明天;基于多级属性集的垃圾邮件过滤技术[J];计算机应用研究;2005年07期

10 陈治平;王雷;;基于自学习K近邻的垃圾邮件过滤算法[J];计算机应用;2005年S1期

相关会议论文 前10条

1 李军;何晓宁;黄成哲;齐浩亮;雷国华;;基于特征贡献度的垃圾邮件过滤方法[A];第六届全国信息检索学术会议论文集[C];2010年

2 潘文锋;王斌;谭松波;;贝叶斯垃圾邮件过滤研究[A];全国网络与信息安全技术研讨会’2004论文集[C];2004年

3 刘红翼;;一种垃圾邮件过滤器的设计与实现[A];广西计算机学会2005年学术年会论文集[C];2005年

4 张尼;方滨兴;;垃圾邮件过滤技术综述[A];全国网络与信息安全技术研讨会'2005论文集（下册）[C];2005年

5 张志斌;施水才;吕学强;;基于贝叶斯方法的中文垃圾邮件过滤技术综述[A];中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集[C];2006年

6 周立兵;柳景超;;贝叶斯理论在垃圾邮件过滤中的应用分析[A];中国造船工程学会电子技术学术委员会2006学术年会论文集（上册）[C];2006年

7 张海雷;王会珍;王安慧;朱靖波;;基于朴素贝叶斯模型的垃圾邮件过滤技术比较分析[A];全国网络与信息安全技术研讨会论文集（下册）[C];2007年

8 米淑云;辛阳;罗群;;一种新型垃圾邮件过滤系统的设计和研究[A];2008通信理论与技术新进展——第十三届全国青年通信学术会议论文集（上）[C];2008年

9 岑芳明;王明文;王鹏鸣;戴玉娟;;基于核偏最小二乘分类的垃圾邮件过滤[A];第四届全国信息检索与内容安全学术会议论文集（上）[C];2008年

10 牛明珠;;病毒和垃圾邮件过滤技术浅析[A];二○○九年全国电力企业信息化大会论文集[C];2009年

相关重要报纸文章 前10条

1 ;“垃圾邮件过滤系统”几乎没有一个完善的[N];新华每日电讯;2003年

2 ;测试垃圾邮件过滤系统[N];网络世界;2003年

3 本报记者 高颖;清除网络“牛皮癣”胜算几何？[N];计算机世界;2003年

4 John D. Halamka;IT手段的两面性[N];计算机世界;2007年

5 ;不止是垃圾邮件过滤[N];网络世界;2005年

6 ;2003十大网络应用电子邮箱[N];中国电脑教育报;2003年

7 本报记者 李建平;Comdex走向专注[N];计算机世界;2003年

8 张颖;东西方交流不会被“垃圾”阻断[N];中国经营报;2002年

9 ;如何选择和使用UTM设备[N];网络世界;2009年

10 ;用户关心的问题：MSN 8值吗？[N];计算机世界;2002年

相关博士学位论文 前5条

1 董建设;协作式垃圾邮件过滤关键技术研究[D];兰州理工大学;2009年

2 惠孛;基于即时分类的垃圾邮件过滤关键技术的研究[D];电子科技大学;2009年

3 邓蔚;垃圾邮件过滤中的敌手分类问题研究[D];电子科技大学;2011年

4 孙晶涛;基于内容的垃圾邮件过滤技术研究[D];兰州理工大学;2010年

5 张泽明;人工免疫算法及其应用研究[D];中国科学技术大学;2007年

相关硕士学位论文 前10条

1 甘棠仪;基于属性论方法的垃圾邮件过滤系统设计与研究[D];上海海事大学;2005年

2 王申;基于内容的垃圾邮件过滤技术的若干研究[D];中国科学院研究生院（计算技术研究所）;2005年

3 田月霞;基于疫苗机制的垃圾邮件过滤模型的研究[D];郑州轻工业学院;2015年

4 邓曾;遗传算法和贝叶斯模型在垃圾邮件过滤中的应用[D];电子科技大学;2015年

5 徐兆志;基于AAPE分类模型的垃圾邮件过滤技术的研究与实现[D];电子科技大学;2014年

6 次曲(Tse Qu);基于朴素贝叶斯算法的藏文垃圾邮件过滤关键技术研究[D];电子科技大学;2013年

7 王浩;基于发送方异常行为检测的垃圾邮件过滤系统的研究与实现[D];东北大学;2013年

8 陆元;基于多特征融合的垃圾邮件过滤系统[D];重庆大学;2015年

9 魏如玉;中文垃圾邮件过滤方法的研究[D];辽宁大学;2016年

10 胡玮;基于语义的垃圾邮件过滤技术的研究[D];重庆大学;2016年

，

本文编号：2520300