基于大数据的网络舆情分析系统模型研究

发布时间：2020-04-08 02:31

【摘要】：互联网的快速普及,使网络成为社会舆论发布和传播的主要渠道之一。同时,由于各类网络服务的使用和发展,舆情信息的载体和内容形式也呈现出多样化的特点,不仅包括传统的电子邮件、门户网站、博客、贴吧、论坛还有新兴产生的微博、微信等,舆情的内容也不仅仅承载于新闻、评论、意见转发等,还包括各种多媒体舆情,表现出极大的不可控性。作为政府机关和相关研究机构了解民情民意的直接平台和政府必须坚守的舆论阵地,如果网络舆论被图谋不轨者引导和控制,则很有可能会危及社会的安全和稳定。然而在大数据时代,互联网产生的各种数据每天以PB规模增加,对舆情信息的挖掘和分析提出了新的挑战,因此,如何高效的从大数据时代的海量数据中挖掘和辨别出舆情信息,有很大的现实意义。本文针对这一问题,通过分析舆情分析系统的整体流程,结合大数据技术,构建了大数据环境下网络舆情分析系统模型,并对系统组成模块的工作流程和实现方式做了详细设计。主要工作及研究成果如下:1.研究了网络舆情分析的关键技术,深入分析了信息采集、信息预处理、文本聚类的各个步骤以及其涉及的关键技术和解决方法,分析了Hadoop的两大核心组成部分,HDFS分布式文件系统和MapReduce分布式并行计算模型的架构和工作流程。2.完成了大数据环境下网络舆情分析系统模型的整体设计,设计模型图,详细分析舆情信息采集、舆情信息预处理、舆情信息分析、舆情报告四个组成模块在大数据环境下的具体功能和实现流程。3.分析了信息采集、信息预处理、文本聚类三个阶段的可并行性,将上述过程进行优化。使用HDFS将文本分块存储在集群的不同节点上,利用MapReduce分布式并行计算模型和TFIDF权重计算方法和K-means聚类方法将处理过程分成map和reduce两个步骤进行分布式并行计算,提高了处理大批量数据的效率。4.利用普通PC机构造Hadoop集群,搭建实验所需的软硬件环境,对各项实验参数进行设置,对设计的基于MapReduce的分布式并行信息采集、文本预处理、特征选择、文本向量化、文本聚类过程进行实验验证,通过与常用处理方式对比,证明优化后系统的可扩展性和高效性。
【学位授予单位】：西安电子科技大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：G206

【相似文献】

相关期刊论文 前10条

1 梁丽雯;;网络舆情分析师或成就业香饽饽[J];金融科技时代;2014年01期

2 ;做好舆情分析是有效引导的前提[J];中国记者;2001年03期

3 杨玫;;舆情分析:图书馆为领导决策服务的新探索[J];图书馆论坛;2006年05期

4 宋占茹;;图书馆开展网络舆情分析工作初探[J];情报探索;2010年08期

5 何顺兰;王兴起;胡宏宇;姜明;;多媒体舆情分析系统设计与研究[J];杭州电子科技大学学报;2010年05期

6 颜建华;刘岩;傅黎犁;刘亚民;;基于网络的舆情分析系统及其应用研究[J];医学信息学杂志;2011年08期

7 侯文昌;;传媒新角色—舆情分析师的专业素养 “朝阳职业”四年成长史[J];中国记者;2011年09期

8 刘鹏飞;;“寻路”舆情分析师:一些心得,几点忠告[J];中国记者;2011年09期

9 刘岩;傅黎犁;颜建华;;医学情报研究机构开展舆情分析服务的实践[J];中华医学图书情报杂志;2012年01期

10 曹劲松;;政府形象传播的舆情分析[J];江海学刊;2012年03期

相关会议论文 前4条

1 宋占茹;;图书馆网络舆情分析工作新探[A];华北地区高校图协第二十四届学术年会论文（文章）汇编[C];2010年

2 何顺兰;王兴起;胡宏宇;姜明;;多媒体舆情分析系统设计与研究[A];浙江省电子学会2010学术年会论文集[C];2010年

3 孙江;;天津蓟县莱德商厦火灾信息发布、媒体报道及网络舆情分析[A];2013中国消防协会科学技术年会论文集[C];2013年

4 梁飞;吕洪波;姚锦峰;;舆情分析中语料库降维[A];2008'中国信息技术与应用学术论坛论文集（一）[C];2008年

相关重要报纸文章 前10条

1 本报记者 降蕴彰;舆情分析师来了[N];经济观察报;2013年

2 福建三明学院 郑祥专;教育舆情分析须坚持“四性”[N];中国教育报;2009年

3 记者 王庆华;克旗全面启动法律援助舆情分析工作[N];赤峰日报;2010年

4 本报记者 傅江平;舆情分析为食品安全监管提供支撑[N];中国质量报;2012年

5 记者 马献忠;“段子文化的舆情分析”课题结项[N];中国社会科学报;2011年

6 本报记者 孙艳敏;网络舆情分析师：不只是替领导看看网[N];检察日报;2013年

7 记者 魏志强　通讯员 杜胜辉;青工的心情 团委的事情[N];中国石油报;2010年

8 杨丽娟　张音;走近网络舆情分析师[N];人民日报;2011年

9 于雅倩　本报记者 王宁;身边烦恼有地儿说[N];丹东日报;2009年

10 赵强;回应舆论关切 怎能语焉不详[N];人民日报;2014年

相关博士学位论文 前1条

1 冯时;面向网络舆情分析的观点挖掘关键技术研究[D];东北大学;2011年

相关硕士学位论文 前10条

1 姜朋;山东大学舆情分析系统的设计与实现[D];山东大学;2015年

2 朱慧;基于舆情分析研判的突发事件预警平台的设计与实现[D];电子科技大学;2011年

3 张鹏星;基于文本倾向性分析的网络舆情分析及其趋势预测[D];云南财经大学;2014年

4 许志凯;网络舆情分析关键技术的研究与实现[D];哈尔滨工业大学;2011年

5 张劭捷;基于微博社交网络的舆情分析模型及实现[D];华南理工大学;2011年

6 王涛;微博舆情分析系统信息处理模块的设计与实现[D];东华大学;2014年

7 马梅;基于大数据的网络舆情分析系统模型研究[D];西安电子科技大学;2014年

8 王然;舆情分析系统的设计与实现[D];北京邮电大学;2013年

9 谢宜瑾;网络舆情分析与管理技术的研究与实现[D];广东工业大学;2012年

10 许磊;基于事件关联的热点舆情分析技术研究[D];北京邮电大学;2014年

，

本文编号：2618755