基于MapReduce的平均多项朴素贝叶斯文本分类

发布时间：2017-10-01 11:16

  本文关键词：基于MapReduce的平均多项朴素贝叶斯文本分类

  更多相关文章： 文本分类 朴素贝叶斯 并行计算 冗余特征 大数据

【摘要】：针对海量文本分类问题进行了研究,基于分布式计算框架MapReduce平台,实现了一种简单、有效的文本分类算法——平均多项朴素贝叶斯分类方法。实验中该方法分类准确率高于一般朴素贝叶斯方法,且具有较好的加速比。实验结果表明,由于减小了文本冗余特征信息的影响与并行计算良好的扩展性,该方法更适用于海量文本数据分类。
【作者单位】： 电子科技大学数学科学学院;
【关键词】： 文本分类 朴素贝叶斯 并行计算 冗余特征 大数据
【分类号】：TP391.1
【正文快照】： 近年来互联网的迅猛发展宣告了大数据时代的来临,而在互联网知识呈现形式中,90%的信息是以文本的形式存在。如何从海量的信息中快速、有效地提取出人们所需要的知识成为机器学习中的热点研究课题。Jeffrey等人在2004年提出了MapReduce编程范式[1],该模型适用于处理大规模数据

【相似文献】

中国期刊全文数据库 前10条

1 钱颖能;胡运发;;用朴素贝叶斯分类法选股[J];计算机应用与软件;2007年06期

2 欧阳泽华;郭华平;范明;;在逐渐缩小的空间上渐进学习朴素贝叶斯参数[J];计算机应用;2012年01期

3 裴亚辉;熊盛武;;朴素贝叶斯及其扩展模型[J];网络安全技术与应用;2007年08期

4 赵彦琦;谢小西;荀宇畅;;朴素贝叶斯分类法的应用[J];电子制作;2013年07期

5 菅小艳;崔彩霞;;基于朴素贝叶斯的文本分类[J];电脑开发与应用;2013年12期

6 王实;高文;;增强型朴素贝叶斯学习[J];计算机科学;2000年04期

7 杨忠强;秦亮曦;;一种基于属性加权的朴素贝叶斯改进算法[J];广西大学学报(自然科学版);2013年05期

8 张彩丽;杨帆;张玉杰;;柴油机供油系统状态的朴素贝叶斯诊断方法研究[J];计算机测量与控制;2008年08期

9 白耀辉;陈明;王举群;;利用朴素贝叶斯方法实现异常检测[J];计算机工程与应用;2005年34期

10 王双成;冷翠平;侯彩虹;;操作风险等级预测的朴素贝叶斯方法研究[J];计算机工程与应用;2008年12期

中国重要会议论文全文数据库 前2条

1 石志伟;吴功宜;;改善朴素贝叶斯在文本分类中的稳定性[A];NCIRCS2004第一届全国信息检索与内容安全学术会议论文集[C];2004年

2 李海军;王钲旋;王利民;苑森淼;;基于主成分分析提升朴素贝叶斯[A];中国仪器仪表学会第六届青年学术会议论文集[C];2004年

中国硕士学位论文全文数据库 前8条

1 胡为成;基于遗传算法的朴素贝叶斯分类研究[D];合肥工业大学;2006年

2 刘勇华;基于朴素贝叶斯的中文段落情感分析[D];太原理工大学;2015年

3 周龙;基于朴素贝叶斯的分类方法研究[D];安徽大学;2006年

4 王翔;基于朴素贝叶斯和One-R的入侵检测问题研究[D];合肥工业大学;2008年

5 周远阳;基于朴素贝叶斯方法的新闻分类系统的实现[D];暨南大学;2012年

6 李忠波;基于改进朴素贝叶斯的蛋白质提纯方法选择[D];大连理工大学;2014年

7 孙秀亮;基于属性加权的选择性朴素贝叶斯分类研究[D];哈尔滨工程大学;2013年

8 华林森;中文文本情感分类研究[D];重庆大学;2014年

，

本文编号：953151