基于Spark的舆情分析架构研究

发布时间：2017-12-25 22:11

  本文关键词：基于Spark的舆情分析架构研究　出处：《广东工业大学》2016年硕士论文　论文类型：学位论文

  更多相关文章： 舆情分析 数据采集 Spark 文本聚类 瓶颈检测

【摘要】：舆情分析通过对互联网海量信息进行自动抓取、自动分类聚类等技术,形成简报、图表等分析结果,为客户全面掌握群众思想动态,做出正确舆论引导提供分析依据。随着移动互联网、电子商务、社交网络等互联网新兴技术普及和应用,互联网用户呈现爆炸性增长。因此,高效海量数据处理架构对舆情分析具有重要研究意义。本文结合新浪微博,基于大数据处理技术,探讨了构建基于Spark的舆情分析架构的可行性。论文主要做了以下几方面工作：1、设计整体架构,搭建Hadoop分布式平台对海量数据进行存储和处理,通过分布式列式数据库HBase和Lucene相结合,在满足海量数据存储的基础上,提高了数据检索和读写性能。2、在数据采集模块,针对当今广泛使用的模拟登陆和基于API采集方案的缺陷,设计一个高效稳定的数据采集方案,具体包括通过内存数据库Redis来控制待爬队列、更新队列和已爬集合,在避免重复采集的同时能及时对数据进行更新；针对IP限制问题,提出流动性的代理池机制,通过池中代理不断调度更新,使得池中代理能针对不同网页而发挥其最大功效,同时保证数据抓取的高效性和稳定性,提高采集效率。3、为从本质上突破Hadoop在文本聚类上的瓶颈,本文在文本聚类模块中使用基于Spark的改进K-means算法实现。具体包括在预处理阶段,针对微博特征项比较少的缺点,使用word2vec工具对特征项进行扩展；在K值选择和簇心初始化问题上优化K-means算法,并将Spark框架应用于优化的K-means算法,对文本数据进行并行处理,使得架构在文本聚类上更加高效快捷,从而提高整个架构的性能。4、针对架构提出一种基于资源信息增益的瓶颈检测方法。该方法通过监控集群的响应满意度(Response Satisfaction, RS)来发现瓶颈的出现,然后通过资源使用率和响应满意度样本计算各类资源的信息增益,以确定具体的瓶颈资源。舆情分析作为愈发强大的社会建设力量,网络舆情已经成为一股不容忽视的社会力量。故对网络舆情的分析对社会发展具有重要意义其在应用和研究上都有着巨大的前景,故对舆情分析架构研究势在必行。实验结果表明,本文构建的舆情分析架构能很好的适应对海量数据的舆情分析,能达到较为理想的数据采集和数据处理效果,对处理大规模数据的舆情分析具有可行性。
【学位授予单位】：广东工业大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP391.1

【相似文献】

相关期刊论文 前10条

1 梁丽雯;;网络舆情分析师或成就业香饽饽[J];金融科技时代;2014年01期

2 ;做好舆情分析是有效引导的前提[J];中国记者;2001年03期

3 杨玫;;舆情分析:图书馆为领导决策服务的新探索[J];图书馆论坛;2006年05期

4 宋占茹;;图书馆开展网络舆情分析工作初探[J];情报探索;2010年08期

5 何顺兰;王兴起;胡宏宇;姜明;;多媒体舆情分析系统设计与研究[J];杭州电子科技大学学报;2010年05期

6 颜建华;刘岩;傅黎犁;刘亚民;;基于网络的舆情分析系统及其应用研究[J];医学信息学杂志;2011年08期

7 侯文昌;;传媒新角色—舆情分析师的专业素养 “朝阳职业”四年成长史[J];中国记者;2011年09期

8 刘鹏飞;;“寻路”舆情分析师:一些心得,几点忠告[J];中国记者;2011年09期

9 刘岩;傅黎犁;颜建华;;医学情报研究机构开展舆情分析服务的实践[J];中华医学图书情报杂志;2012年01期

10 曹劲松;;政府形象传播的舆情分析[J];江海学刊;2012年03期

相关会议论文 前4条

1 宋占茹;;图书馆网络舆情分析工作新探[A];华北地区高校图协第二十四届学术年会论文（文章）汇编[C];2010年

2 何顺兰;王兴起;胡宏宇;姜明;;多媒体舆情分析系统设计与研究[A];浙江省电子学会2010学术年会论文集[C];2010年

3 孙江;;天津蓟县莱德商厦火灾信息发布、媒体报道及网络舆情分析[A];2013中国消防协会科学技术年会论文集[C];2013年

4 梁飞;吕洪波;姚锦峰;;舆情分析中语料库降维[A];2008'中国信息技术与应用学术论坛论文集（一）[C];2008年

相关重要报纸文章 前10条

1 本报记者 降蕴彰;舆情分析师来了[N];经济观察报;2013年

2 福建三明学院 郑祥专;教育舆情分析须坚持“四性”[N];中国教育报;2009年

3 记者 王庆华;克旗全面启动法律援助舆情分析工作[N];赤峰日报;2010年

4 本报记者 傅江平;舆情分析为食品安全监管提供支撑[N];中国质量报;2012年

5 记者 马献忠;“段子文化的舆情分析”课题结项[N];中国社会科学报;2011年

6 本报记者 孙艳敏;网络舆情分析师：不只是替领导看看网[N];检察日报;2013年

7 记者 魏志强　通讯员 杜胜辉;青工的心情 团委的事情[N];中国石油报;2010年

8 杨丽娟　张音;走近网络舆情分析师[N];人民日报;2011年

9 于雅倩　本报记者 王宁;身边烦恼有地儿说[N];丹东日报;2009年

10 赵强;回应舆论关切 怎能语焉不详[N];人民日报;2014年

相关博士学位论文 前1条

1 冯时;面向网络舆情分析的观点挖掘关键技术研究[D];东北大学;2011年

相关硕士学位论文 前10条

1 姜朋;山东大学舆情分析系统的设计与实现[D];山东大学;2015年

2 唐霞;Hadoop调度器优化及其在舆情分析中的应用[D];北京化工大学;2015年

3 冯佳明;深度词汇网络学习舆情监测关键技术的研究[D];北京化工大学;2015年

4 王晔;面向舆情分析的skyline查询技术研究与实现[D];国防科学技术大学;2013年

5 马梅;基于大数据的网络舆情分析系统模型研究[D];西安电子科技大学;2014年

6 高卫民;城市公安网络舆情分析系统的设计与开发[D];天津大学;2014年

7 黄斯琪;基于微博平台的社交网络舆情分析方法[D];南京邮电大学;2015年

8 罗晶;校园舆情分析中的意见挖掘技术研究[D];东南大学;2015年

9 梁超君;大数据背景下G政府舆情分析应用研究[D];广东工业大学;2016年

10 谭造乐;基于Spark的舆情分析架构研究[D];广东工业大学;2016年

，

本文编号：1334636