大数据环境下基于SVM-WNB的网络舆情分类研究

发布时间：2018-06-26 02:06

  本文选题：大数据 + 网络舆情　； 参考：《统计与决策》2017年14期

【摘要】：当前网络舆情信息存在数据量大、流动快及数据非结构化等特点,难以实现对其快速、准确的分类。SVM算法和朴素贝叶斯算法都是性能优秀的传统分类算法,但无法满足快速处理海量数据。文章利用Ha-doop平台可并行处理分布式数据存储的优良特性,提出了HSVM_WNB分类算法,将采集的舆情文档依照HDFS架构进行本地化存储,并通过MapReduce进程完成并行分类处理。最后利用实验验证,本算法能够有效提升网络舆情分类能力与分类效率。
[Abstract]:At present, the network public opinion information has the characteristics of large amount of data, fast flow and unstructured data, so it is difficult to realize the fast and accurate classification. SVM algorithm and naive Bayes algorithm are all excellent traditional classification algorithms. But can not meet the rapid processing of massive data. In this paper, based on the excellent features of Ha-doop platform, which can process distributed data storage in parallel, the HSVMMWNB classification algorithm is proposed. The collected public opinion documents are stored locally according to the HDFS architecture, and the parallel classification is completed through the MapReduce process. Finally, the experimental results show that the algorithm can effectively improve the classification ability and classification efficiency of network public opinion.
【作者单位】： 四川大学图书馆;
【基金】：四川大学中央高校基本科研业务费专项资金资助项目(2014SCU11054)
【分类号】：TP18;TP311.13

【参考文献】

中国期刊全文数据库 前7条

1 刘亚秋;李海涛;景维鹏;;基于Hadoop的海量嘈杂数据决策树算法的实现[J];计算机应用;2015年04期

2 夏火松;甄化春;;大数据环境下舆情分析与决策支持研究文献综述[J];情报杂志;2015年02期

3 李金海;何有世;熊强;;基于大数据技术的网络舆情文本挖掘研究[J];情报杂志;2014年10期

4 唐涛;;基于大数据的网络舆情分析方法研究[J];现代情报;2014年03期

5 幸莉仙;黄慧连;;MapReduce框架下的朴素贝叶斯算法并行化研究[J];计算机系统应用;2013年02期

6 杨超;冯时;王大玲;杨楠;于戈;;基于情感词典扩展技术的网络舆情倾向性分析[J];小型微型计算机系统;2010年04期

7 李蓉 ,叶世伟 ,史忠植;SVM-KNN分类器——一种提高SVM分类精度的新方法[J];电子学报;2002年05期

【共引文献】

中国期刊全文数据库 前10条

1 张宸;韩夏;;大数据环境下基于SVM-WNB的网络舆情分类研究[J];统计与决策;2017年14期

2 张庆梅;;舆情去重算法的研究与比较[J];电子设计工程;2017年14期

3 何绯娟;杨宽;缪相林;高建忠;;基于要素图的舆情事件线索化方法研究[J];情报杂志;2017年07期

4 张雨芊;;大数据时代政治学面临的发展和机遇[J];漯河职业技术学院学报;2017年04期

5 钟晓婷;陈海山;郭中华;苑俊英;;多分类器在长串手写数字识别中的实验[J];电子技术与软件工程;2017年13期

6 宋欣霞;金卫;;应用并行化K-means优化算法探究中医治疗高血压用药规律[J];医学信息学杂志;2017年06期

7 丁学君;樊荣;杨锦仪;;突发公共卫生事件网络舆情研究现状及评述[J];电子政务;2017年06期

8 洪亮;石立艳;孙永波;;泛在媒体环境下政府网络舆情治理能力提升研究[J];情报探索;2017年06期

9 宋朋;陆丹s，

本文编号：2068578