基于k-means聚类和TF-IDF的新浪微博舆情分析

发布时间：2018-01-02 16:18

  本文关键词：基于k-means聚类和TF-IDF的新浪微博舆情分析　出处：《辽宁科技大学》2016年硕士论文　论文类型：学位论文

  更多相关文章： 网络爬虫 舆情 聚类 自然语言处理

【摘要】：现如今的人们正处在一个信息爆炸的时代,人是信息的传播者更是信息的制造者。过去,主要的信息传播工具是报纸、电视等,但是在今天,人们已经被新媒体所包围。新媒体的新不仅仅是通信手段的新,更重要的是,它改变了普通群众在社会舆论中的位置。人们可以通过在贴吧、论坛、微博的方式提出观点、发表意见。传统的信息获取渠道通常是报纸或者是社会的一些主流媒体。这些媒体有很好的客观性,但是却不能在第一时间将信息传递给大众。对于贴吧、论坛或微博来说,它既可以相对保证客观性的同时又有很好的实时性。为此舆情系统应运而生。它以Web信息作为输入,信息处理后的结果反映了大众对各种事件的态度,是政府和企业了解民意的重要渠道。微博舆情系统是现如今比较流行也是比较实用的系统。它以微博数据为基础,利用接口或者自行开发的爬虫程序抓取信息。通过自然语言处理以及机器学习技术对数据处理,得到数据中隐藏的信息。最终分析得到的信息,获取大众的舆情观点。本系统实现步骤大致如下。(1)通过自行编写网络爬虫程序,完成微博数据的实时采集。(2)通过simhash算法对原始文本进行去重操作。(3)利用中文分词、去停用词操作对文本进行粗加工。(4)使用改进后的k-means聚类算法为文本集合进行聚类操作。(5)利用特征抽取的方式抽取关键词。(6)结合情感词典完成微博舆情操作。本系统提出了:(1)通过惩罚值改进的k-means聚类算法。(2)利用聚类划分微博话题,通过特征抽取方式在话题中得到关键词。通过实验得到了比较理想的效果,表明了本方法的有效性。
[Abstract]:The present system is based on micro blog data , and it changes the position of public opinion .

【学位授予单位】：辽宁科技大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP391.1;TP393.092

【相似文献】

相关期刊论文 前10条

1 梁丽雯;;网络舆情分析师或成就业香饽饽[J];金融科技时代;2014年01期

2 ;做好舆情分析是有效引导的前提[J];中国记者;2001年03期

3 杨玫;;舆情分析:图书馆为领导决策服务的新探索[J];图书馆论坛;2006年05期

4 宋占茹;;图书馆开展网络舆情分析工作初探[J];情报探索;2010年08期

5 何顺兰;王兴起;胡宏宇;姜明;;多媒体舆情分析系统设计与研究[J];杭州电子科技大学学报;2010年05期

6 颜建华;刘岩;傅黎犁;刘亚民;;基于网络的舆情分析系统及其应用研究[J];医学信息学杂志;2011年08期

7 侯文昌;;传媒新角色—舆情分析师的专业素养 “朝阳职业”四年成长史[J];中国记者;2011年09期

8 刘鹏飞;;“寻路”舆情分析师:一些心得,几点忠告[J];中国记者;2011年09期

9 刘岩;傅黎犁;颜建华;;医学情报研究机构开展舆情分析服务的实践[J];中华医学图书情报杂志;2012年01期

10 曹劲松;;政府形象传播的舆情分析[J];江海学刊;2012年03期

相关会议论文 前4条

1 宋占茹;;图书馆网络舆情分析工作新探[A];华北地区高校图协第二十四届学术年会论文（文章）汇编[C];2010年

2 何顺兰;王兴起;胡宏宇;姜明;;多媒体舆情分析系统设计与研究[A];浙江省电子学会2010学术年会论文集[C];2010年

3 孙江;;天津蓟县莱德商厦火灾信息发布、媒体报道及网络舆情分析[A];2013中国消防协会科学技术年会论文集[C];2013年

4 梁飞;吕洪波;姚锦峰;;舆情分析中语料库降维[A];2008'中国信息技术与应用学术论坛论文集（一）[C];2008年

相关重要报纸文章 前10条

1 本报记者 降蕴彰;舆情分析师来了[N];经济观察报;2013年

2 福建三明学院 郑祥专;教育舆情分析须坚持“四性”[N];中国教育报;2009年

3 记者 王庆华;克旗全面启动法律援助舆情分析工作[N];赤峰日报;2010年

4 本报记者 傅江平;舆情分析为食品安全监管提供支撑[N];中国质量报;2012年

5 记者 马献忠;“段子文化的舆情分析”课题结项[N];中国社会科学报;2011年

6 本报记者 孙艳敏;网络舆情分析师：不只是替领导看看网[N];检察日报;2013年

7 记者 魏志强　通讯员 杜胜辉;青工的心情 团委的事情[N];中国石油报;2010年

8 杨丽娟　张音;走近网络舆情分析师[N];人民日报;2011年

9 于雅倩　本报记者 王宁;身边烦恼有地儿说[N];丹东日报;2009年

10 赵强;回应舆论关切 怎能语焉不详[N];人民日报;2014年

相关博士学位论文 前1条

1 冯时;面向网络舆情分析的观点挖掘关键技术研究[D];东北大学;2011年

相关硕士学位论文 前10条

1 姜朋;山东大学舆情分析系统的设计与实现[D];山东大学;2015年

2 唐霞;Hadoop调度器优化及其在舆情分析中的应用[D];北京化工大学;2015年

3 冯佳明;深度词汇网络学习舆情监测关键技术的研究[D];北京化工大学;2015年

4 王晔;面向舆情分析的skyline查询技术研究与实现[D];国防科学技术大学;2013年

5 马梅;基于大数据的网络舆情分析系统模型研究[D];西安电子科技大学;2014年

6 高卫民;城市公安网络舆情分析系统的设计与开发[D];天津大学;2014年

7 黄斯琪;基于微博平台的社交网络舆情分析方法[D];南京邮电大学;2015年

8 罗晶;校园舆情分析中的意见挖掘技术研究[D];东南大学;2015年

9 梁超君;大数据背景下G政府舆情分析应用研究[D];广东工业大学;2016年

10 谭造乐;基于Spark的舆情分析架构研究[D];广东工业大学;2016年

，

本文编号：1369997