基于Elastic Net-Decision Tree的垃圾邮件过滤研究

发布时间：2017-07-14 00:30

  本文关键词：基于Elastic Net-Decision Tree的垃圾邮件过滤研究

  更多相关文章： 垃圾邮件 Elastic Net 决策树

【摘要】：针对垃圾邮件文本数据高维、稀疏及词条相关等特点,提出Elastic Net-Decision Tree(EN-DT)两步分类算法。第一步,利用Elastic Net提取邮件文本特征变量,将高维文本数据降至低维。第二步,将所提取的低维特征变量输入到Decision Tree中进行邮件分类。根据分类评价指标对分类结果进行评价。利用Mark Hopkins等人收集的Spam邮件文本数据进行仿真,实验结果表明相比于PLS、PCA和Lasso等算法EN-DT分类性能更佳。
【作者单位】： 华东交通大学电气与电子工程学院;
【关键词】： 垃圾邮件 Elastic Net 决策树
【基金】：国家自然科学基金(61263010;60904049) 江西省青年科学基金(20114BAB211014) 江西省教育厅研究项目(GJJ14399) 国家留学基金(2011836118)资助
【分类号】：TP393.098
【正文快照】： 江西省青年科学基金(20114BAB211014),江西省教育厅研究项目(GJJ14399)、国家留学基金(2011836118)资助随着互联网的不断发展,电子邮件的使用越来越广泛,给人们日常交流带来极大方便。然而其副产品垃圾邮件正像洪水一样侵袭着全球互联网。垃圾邮件不仅占用了大量的网络存储空

【参考文献】

中国期刊全文数据库 前7条

1 谢小民;;基于贝叶斯的垃圾邮件过滤算法设计研究[J];电子技术与软件工程;2014年15期

2 任剑锋;梁雪;李淑红;;基于非线性流形学习和支持向量机的文本分类算法[J];计算机科学;2012年01期

3 云炜;段禅伦;;基于粗糙集理论的双向垃圾邮件分类模型的研究[J];计算机工程与科学;2008年10期

4 王斌,潘文锋;基于内容的垃圾邮件过滤技术综述[J];中文信息学报;2005年05期

5 岑芳明;王明文;王鹏鸣;戴玉娟;;基于核偏最小二乘分类的垃圾邮件过滤[J];中文信息学报;2009年02期

6 计宏;;改进贝叶斯垃圾邮件过滤技术的研究[J];计算机测量与控制;2013年08期

7 王纲;李诚;;基于贝叶斯理论的垃圾邮件算法研究[J];齐齐哈尔大学学报(自然科学版);2012年01期

中国重要会议论文全文数据库 前1条

1 王琦;;基于贝叶斯决策树算法的垃圾邮件识别机制[A];2011年通信与信息技术新进展——第八届中国通信学会学术年会论文集[C];2011年

中国硕士学位论文全文数据库 前2条

1 陈孝礼;基于改进SVM的垃圾邮件过滤系统研究与实现[D];山东师范大学;2011年

2 罗常泳;基于内容的垃圾邮件检测方法研究[D];浙江大学;2014年

【共引文献】

中国期刊全文数据库 前10条

1 程卫华;尤晋元;;基于内容过滤的反垃圾邮件系统的设计与实现[J];安徽大学学报(自然科学版);2007年03期

2 黄文良;李石坚;刘菊新;徐从富;;一个大规模垃圾短信实时过滤系统[J];北京邮电大学学报;2008年03期

3 董振兴;李荣;陈龙;;一种基于主动学习和TCM-EKNN的邮件过滤方法[J];重庆邮电大学学报(自然科学版);2011年01期

4 邓文韬;王国胤;董振兴;;一种改进KNN个性化邮件过滤的方法[J];重庆邮电大学学报(自然科学版);2011年06期

5 刘洋;曹津宁;刘昊;秦玉平;;基于贝叶斯方法的垃圾邮件处理模型研究[J];长春工程学院学报(自然科学版);2007年03期

6 沈竞;蒋侨;;DSTFA分布式短文本过滤算法[J];四川兵工学报;2011年10期

7 田林;;基于SMTP会话控制的主动式垃圾邮件过滤技术的研究[J];楚雄师范学院学报;2009年06期

8 孙晶涛;张秋余;袁占亭;董建设;;博弈论在邮件特征选择中的应用[J];电子科技大学学报;2011年01期

9 庄锁法;陈兴梅;;客户端防范垃圾邮件策略的探讨[J];电脑知识与技术;2006年23期

10 徐卫;;一种垃圾邮件过滤网关的设计[J];电脑知识与技术;2006年35期

中国重要会议论文全文数据库 前5条

1 王琦;;基于贝叶斯决策树算法的垃圾邮件识别机制[A];2011年通信与信息技术新进展——第八届中国通信学会学术年会论文集[C];2011年

2 张艳;李毅;顾健;;垃圾邮件与反垃圾邮件新技术追踪[A];全国计算机安全学术交流会论文集·第二十五卷[C];2010年

3 黄文良;李石坚;刘菊新;徐从富;;大规模垃圾短信实时过滤系统的设计与实现[A];中国通信学会第五届学术年会论文集[C];2008年

4 苏绥;林鸿飞;叶正;;基于字符语言模型的垃圾邮件过滤[A];第四届全国信息检索与内容安全学术会议论文集（上）[C];2008年

5 李劲;岳昆;杭菲璐;;一种基于自适应Markov模型的中文垃圾邮件过滤方法[A];第二十五届中国数据库学术会议论文集（一）[C];2008年

中国博士学位论文全文数据库 前10条

1 孙晶涛;基于内容的垃圾邮件过滤技术研究[D];兰州理工大学;2010年

2 刘伍颖;面向垃圾信息过滤的主动多域学习文本分类方法研究[D];国防科学技术大学;2011年

3 曹渝昆;基于神经网络和模糊逻辑的智能推荐系统研究[D];重庆大学;2006年

4 何申;面向3G移动通信网络的安全框架研究[D];中国科学技术大学;2007年

5 刘震;垃圾邮件过滤理论和关键技术研究[D];电子科技大学;2008年

6 黄文良;垃圾短信过滤关键技术研究[D];浙江大学;2008年

7 陈黎飞;高维数据的聚类方法研究与应用[D];厦门大学;2008年

8 惠孛;基于即时分类的垃圾邮件过滤关键技术的研究[D];电子科技大学;2009年

9 李东方;Web 2.0环境下互联网信息过滤理论与方法研究[D];中国科学技术大学;2009年

10 陈彬;垃圾邮件的特征选择及检测方法研究[D];华南理工大学;2010年

中国硕士学位论文全文数据库 前10条

1 岳广飞;基于二次搜索的搜索引擎技术研究[D];山东科技大学;2010年

2 刘维会;不平衡数据集上支持向量机算法研究[D];山东科技大学;2010年

3 于洪霞;基于SVM的中文垃圾邮件过滤[D];哈尔滨工程大学;2009年

4 李福转;基于内容的垃圾邮件过滤技术的研究[D];电子科技大学;2010年

5 石晶;一种高效垃圾短信过滤系统的实现[D];电子科技大学;2010年

6 苏保君;在线组合分类器应用于大规模垃圾邮件过滤的研究[D];浙江大学;2010年

7 徐丽平;基于内容挖掘的中文垃圾邮件过滤技术研究[D];东北财经大学;2010年

8 王海波;垃圾短信的屏蔽机制与应用研究[D];东华大学;2011年

9 陈孝礼;基于改进SVM的垃圾邮件过滤系统研究与实现[D];山东师范大学;2011年

10 陈强;基于贝叶斯方法的垃圾邮件过滤技术的研究[D];沈阳工业大学;2011年

【二级参考文献】

中国期刊全文数据库 前10条

1 曾立梅;;基于文本数据挖掘的硕士论文分类技术[J];重庆邮电大学学报(自然科学版);2010年05期

2 赵晓明,郑少仁;电子邮件过滤器的分析与设计[J];东南大学学报(自然科学版);2001年05期

3 张长君;电子邮件的一种过滤方法[J];计算机安全;2002年02期

4 卢志茂;刘挺;李生;;统计词义消歧的研究进展[J];电子学报;2006年02期

5 王彪;段禅伦;赵俊岚;;一种基于粗糙集的小型电子商务挖掘模型[J];中国管理信息化(综合版);2007年02期

6 胡佳妮,徐蔚然,郭军,邓伟洪;中文文本分类中的特征选择算法研究[J];光通信研究;2005年03期

7 林珊,宁国宁,赵之霖;中文分词在邮件过滤系统中的应用[J];华南理工大学学报(自然科学版);2004年S1期

8 王美珍;李芝棠;吴汉涛;;改进的贝叶斯垃圾邮件过滤算法[J];华中科技大学学报(自然科学版);2009年08期

9 落红卫,刘建毅,王枞,钟义信;智能邮件过滤系统的研究与实现[J];机电产品开发与创新;2003年01期

10 朱明,王俊普,蔡庆生;一种最优特征集的选择算法[J];计算机研究与发展;1998年09期

中国博士学位论文全文数据库 前3条

1 孙晶涛;基于内容的垃圾邮件过滤技术研究[D];兰州理工大学;2010年

2 詹川;反垃圾邮件技术的研究[D];电子科技大学;2005年

3 王博;文本分类中特征选择技术的研究[D];国防科学技术大学;2009年

中国硕士学位论文全文数据库 前4条

1 李雯;基于贝叶斯技术的邮件过滤研究[D];山东师范大学;2008年

2 王洪斌;基于决策树算法的垃圾邮件通信行为检测过滤技术研究[D];哈尔滨理工大学;2008年

3 张立伟;网络信息过滤中反馈机制的研究及应用[D];山东师范大学;2010年

4 冯禹;基于内容的垃圾邮件检测特征降维算法研究[D];浙江大学;2013年

【相似文献】

中国期刊全文数据库 前10条

1 赵文清;一种混合型垃圾邮件过滤系统的研究与设计[J];山西电子技术;2004年06期

2 陈长伟;刘罡;洪跃枫;;电子垃圾邮件过滤技术的应用[J];办公自动化;2004年06期

3 刘震,佘X,周明天;基于多级属性集的垃圾邮件过滤技术[J];计算机应用研究;2005年07期

4 陈治平;王雷;;基于自学习K近邻的垃圾邮件过滤算法[J];计算机应用;2005年S1期

5 李星;田莹;段海新;;中文垃圾邮件过滤系统的实现和评估[J];大连理工大学学报;2005年S1期

6 刘红翼;;一种垃圾邮件过滤器的设计与实现[J];广西科学院学报;2005年04期

7 詹川;卢显良;周旭;侯孟书;袁连海;;基于贝叶斯公式的垃圾邮件过滤方法[J];计算机科学;2005年02期

8 张强;;基于阻断发送源的垃圾邮件过滤技术[J];网络安全技术与应用;2006年02期

9 胡永杰;卜红霞;;垃圾邮件过滤技术研究[J];河北师范大学学报;2006年02期

10 王倩倩;段震;;基于神经网络的垃圾邮件过滤[J];合肥学院学报(自然科学版);2006年01期

中国重要会议论文全文数据库 前10条

1 李军;何晓宁;黄成哲;齐浩亮;雷国华;;基于特征贡献度的垃圾邮件过滤方法[A];第六届全国信息检索学术会议论文集[C];2010年

2 潘文锋;王斌;谭松波;;贝叶斯垃圾邮件过滤研究[A];全国网络与信息安全技术研讨会’2004论文集[C];2004年

3 刘红翼;;一种垃圾邮件过滤器的设计与实现[A];广西计算机学会2005年学术年会论文集[C];2005年

4 张尼;方滨兴;;垃圾邮件过滤技术综述[A];全国网络与信息安全技术研讨会'2005论文集（下册）[C];2005年

5 张志斌;施水才;吕学强;;基于贝叶斯方法的中文垃圾邮件过滤技术综述[A];中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集[C];2006年

6 周立兵;柳景超;;贝叶斯理论在垃圾邮件过滤中的应用分析[A];中国造船工程学会电子技术学术委员会2006学术年会论文集（上册）[C];2006年

7 张海雷;王会珍;王安慧;朱靖波;;基于朴素贝叶斯模型的垃圾邮件过滤技术比较分析[A];全国网络与信息安全技术研讨会论文集（下册）[C];2007年

8 米淑云;辛阳;罗群;;一种新型垃圾邮件过滤系统的设计和研究[A];2008通信理论与技术新进展——第十三届全国青年通信学术会议论文集（上）[C];2008年

9 岑芳明;王明文;王鹏鸣;戴玉娟;;基于核偏最小二乘分类的垃圾邮件过滤[A];第四届全国信息检索与内容安全学术会议论文集（上）[C];2008年

10 牛明珠;;病毒和垃圾邮件过滤技术浅析[A];二○○九年全国电力企业信息化大会论文集[C];2009年

中国重要报纸全文数据库 前10条

1 ;“垃圾邮件过滤系统”几乎没有一个完善的[N];新华每日电讯;2003年

2 ;测试垃圾邮件过滤系统[N];网络世界;2003年

3 本报记者 高颖;清除网络“牛皮癣”胜算几何？[N];计算机世界;2003年

4 John D. Halamka;IT手段的两面性[N];计算机世界;2007年

5 ;不止是垃圾邮件过滤[N];网络世界;2005年

6 ;2003十大网络应用电子邮箱[N];中国电脑教育报;2003年

7 本报记者 李建平;Comdex走向专注[N];计算机世界;2003年

8 张颖;东西方交流不会被“垃圾”阻断[N];中国经营报;2002年

9 ;如何选择和使用UTM设备[N];网络世界;2009年

10 ;用户关心的问题：MSN 8值吗？[N];计算机世界;2002年

中国博士学位论文全文数据库 前5条

1 董建设;协作式垃圾邮件过滤关键技术研究[D];兰州理工大学;2009年

2 惠孛;基于即时分类的垃圾邮件过滤关键技术的研究[D];电子科技大学;2009年

3 邓蔚;垃圾邮件过滤中的敌手分类问题研究[D];电子科技大学;2011年

4 孙晶涛;基于内容的垃圾邮件过滤技术研究[D];兰州理工大学;2010年

5 张泽明;人工免疫算法及其应用研究[D];中国科学技术大学;2007年

中国硕士学位论文全文数据库 前10条

1 陈俊伟;图片垃圾邮件过滤系统[D];华东师范大学;2009年

2 徐隽;基于流数据特性的垃圾邮件过滤技术研究[D];复旦大学;2009年

3 林伟;基于贝叶斯分类的垃圾邮件过滤系统研究与实现[D];西华大学;2009年

4 徐熙;基于内容的多级垃圾邮件过滤系统研究[D];西华大学;2009年

5 卢扬竹;基于内容的垃圾邮件过滤技术研究[D];西南交通大学;2009年

6 郑春光;基于免疫的垃圾邮件过滤技术研究[D];哈尔滨理工大学;2009年

7 欧德宁;垃圾邮件过滤技术研究[D];山东大学;2009年

8 王志波;基于数据挖掘的垃圾邮件过滤技术研究[D];陕西师范大学;2009年

9 王剑;惰性学习分类法在垃圾邮件过滤中的应用研究[D];上海师范大学;2009年

10 孙雪;基于内容的垃圾邮件过滤系统研究[D];河北大学;2010年

，

本文编号：538971