实时网络舆情监测系统的设计与实现

发布时间：2017-10-21 02:29

  本文关键词：实时网络舆情监测系统的设计与实现

  更多相关文章： 网络舆情 舆情监测 舆情采集 舆情分析

【摘要】：网络舆情监测系统目前已经受到了越来越多人的关注。随着互联网的普及,大多数社会新闻、舆情都是通过网络进行传播的。近些年来,社会上出现了许许多多的舆情,比如三聚氰胺、地沟油、白酒塑化剂等等,网络对这些舆情的扩散提供了很大的帮助。针对这种情况,网络舆情监测系统的作用就是及时发现相关的舆情,帮助政府部门和企业公司在舆情发展初期的时候,能够完善地应对和处理好舆情事件。另一方面,舆情从纸质的新闻变成了网络中的文本数据,从而系统可以获取并且分析这些新闻内容,使得网络舆情监测系统具有了很好的可行性。本文实现了一款网络舆情监测系统,系统实现了对网络中的新闻、论坛、博客和微博的获取和分析,智能地提取出用户所关心的舆情内容。本文将舆情系统分成了4个阶段。第一阶段是信息爬虫,获取网页中的新闻数据。第二阶段是信息抽取,提取网页中的标题、发布时间和正文内容。然而,不同的网页的格式是不一样的,没有一个具体的标准,这是舆情系统的一大难点,本文设计了一种算法,适用于大多数页面的信息抽取。第三阶段是相关性分析,这个阶段过滤了绝大多数的新闻,只保留用户所关心的舆情内容。第四阶段是舆情展现,本文通过图示、列表和舆情分类等种种方式,改善了用户对舆情系统的使用体验。本文在系统的实时性、准确性、可扩展性上做了许多的努力。目前本文的舆情系统已经完全实现,并且已经通过实际的舆情项目要求的检验,即将正式上线运行。
【关键词】：网络舆情 舆情监测 舆情采集 舆情分析
【学位授予单位】：浙江大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP274
【目录】：

• 摘要4-5
• Abstract5-10
• 第1章 绪论10-16
• 1.1 课题背景10-12
• 1.2 国内外研究现状12-13
• 1.3 本文研究目的13-14
• 1.4 论文结构14-16
• 第2章 网络舆情监测系统的相关技术16-20
• 2.1 网络爬虫链接去重技术16-17
• 2.2 信息抽取的相关技术17-18
• 2.3 相关性分析的技术18-19
• 2.4 数据存储引擎19
• 2.5 本章小结19-20
• 第3章 系统模块分析20-37
• 3.1 需求分析20
• 3.2 信息爬虫分析20-26
• 3.2.1 网络爬虫框架分析20-23
• 3.2.2 单个网站爬虫分析23-26
• 3.3 信息抽取分析26-32
• 3.3.1 发布时间抽取分析27-28
• 3.3.2 浏览量和评论数分析28-29
• 3.3.3 页面分类29-31
• 3.3.4 正文内容解析31-32
• 3.4 相关性分析32-35
• 3.4.1 相关性分析的元数据33-34
• 3.4.2 相关性分析的过程34-35
• 3.5 舆情展现分析35-36
• 3.6 本章小结36-37
• 第4章 舆情系统的设计与实现37-53
• 4.1 系统整体架构37-39
• 4.2 数据模型设计39-43
• 4.2.1 用户数据模型39-40
• 4.2.2 舆情数据模型40-41
• 4.2.3 交互配置数据模型41-42
• 4.2.4 采集配置数据模型42-43
• 4.3 信息爬虫模块设计43-46
• 4.3.1 信息爬虫起点43-45
• 4.3.2 信息爬虫过程45-46
• 4.4 信息抽取模块设计46-48
• 4.4.1 新闻内容页47-48
• 4.5 相关性模块设计48-49
• 4.6 微博舆情采集设计49-52
• 4.7 本章小结52-53
• 第5章 系统测试与优化53-61
• 5.1 信息抽取测试53-57
• 5.1.1 发布时间抽取测试53-55
• 5.1.2 正文内容抽取测试55-57
• 5.2 采集效率测试57-58
• 5.3 成果展示58-60
• 5.4 本章小结60-61
• 第6章 总结和展望61-63
• 6.1 工作回顾61-62
• 6.2 未来展望和改进62-63
• 参考文献63-66
• 致谢66

【相似文献】

中国期刊全文数据库 前10条

1 陶建杰;;网络舆情联动应急机制初探[J];青年记者;2007年15期

2 胡圣方;杨文德;;网络舆情管理的问题及对策[J];甘肃政法成人教育学院学报;2007年04期

3 吴明友;;校园网络舆情的应对策略分析[J];中国教育信息化;2008年24期

4 张丽红;;试论网络舆情传播对文化的影响[J];前沿;2008年04期

5 姜胜洪;;网络舆情热点的形成与发展、现状及舆论引导[J];理论月刊;2008年04期

6 李子德;;论和谐社会视野中不良网络舆情的预警[J];中国石油大学学报(社会科学版);2008年04期

7 刘军;;互联网时代网络舆情的应急处理[J];理论学习;2009年01期

8 周志强;;网络舆情与“口香糖思想”[J];人民论坛;2009年04期

9 许鑫;章成志;李雯静;;国内网络舆情研究的回顾与展望[J];情报理论与实践;2009年03期

10 陈婴虹;;论网络舆情对司法的影响[J];中共浙江省委党校学报;2009年02期

中国重要会议论文全文数据库 前10条

1 任铭;陈俊鑫;;我国网络舆情及管理策略研究[A];2011年全国通信安全学术会议论文集[C];2011年

2 潘崇霞;;网络舆情演化的阶段分析[A];信息化、工业化融合与服务创新——第十三届计算机模拟与信息技术学术会议论文集[C];2011年

3 潘庆芳;周萍;;涉路网络舆情的现状及应对建议[A];中国公路学会高速公路运营管理分会2011年度年会暨第十八次全国高速公路运营管理工作研讨会论文集[C];2011年

4 李大鹏;;加强新形势下检察机关网络舆情体系建设[A];第27次全国计算机安全学术交流会论文集[C];2012年

5 曹俊喜;刘云;徐希源;;电力行业网络舆情监测分析技术研究与系统设计[A];2012年电力通信管理暨智能电网通信技术论坛论文集[C];2013年

6 冉治平;;提高网络舆情应对能力的几点思考[A];浙江烟草（2012年第3期总第122期）[C];2012年

7 疏学明;郑魁;张辉;袁宏永;;突发事件中网络舆情信息管理方式探讨[A];中国突发事件防范与快速处置优秀成果选编[C];2009年

8 耿骞;刘颖;;网络舆情的形成、传播及监测方法[A];科学发展：文化软实力与民族复兴——纪念中华人民共和国成立60周年论文集（下卷）[C];2009年

9 韩伟;张洪涛;;网络舆情与青少年媒介认知能力构建[A];网络时代的青少年和青少年工作研究报告——第六届中国青少年发展论坛暨中国青少年研究会优秀论文集（2010）[C];2010年

10 曾华艺;;网络舆情危机事件指标体系探讨[A];信息化、工业化融合与服务创新——第十三届计算机模拟与信息技术学术会议论文集[C];2011年

中国重要报纸全文数据库 前10条

1 记者 刘自贤　通讯员 吴涛;网络舆情助推汉江中院司法为民[N];湖北日报;2010年

2 通讯员 王宏杰;注重网络舆情监督 网上网下良性互动[N];检察日报;2010年

3 四川省地税局直属分局 韦一新　胡晓驰;正确应对征纳纠纷引发的网络舆情危机[N];中国税务报;2010年

4 唐莉　记者 郭树仁;梅河口检察院加强涉检网络舆情研判与应对工作[N];北方法制报;2010年

5 记者 卢志坚　通讯员 胡连芳;江苏大丰:征聘百名“网络舆情监督员”[N];检察日报;2009年

6 见习记者 施燕燕;应对网络舆情与三项重点工作息息相关[N];检察日报;2010年

7 记者 吴汉松;提升引导网络舆情能力[N];石狮日报;2010年

8 四川省内江市工商局 吴明显　杨晓彬;建议加强网络舆情收集分析及引导工作(下)[N];中国工商报;2010年

9 吴明显;内江积极加强网络舆情监测[N];中国工商报;2010年

10 本报记者 白真智;探秘网络舆情市场[N];人民日报;2010年

中国博士学位论文全文数据库 前10条

1 张玉强;网络舆情危机的政府适度反应研究[D];中央民族大学;2011年

2 何健;高校大学生网络舆情特征与管理对策研究[D];西南大学;2015年

3 石新宇;当代大学生网络舆情分析及对策研究[D];辽宁大学;2015年

4 曹学艳;突发事件动态网络舆情挖掘与应对研究[D];电子科技大学;2013年

5 方付建;突发事件网络舆情演变研究[D];华中科技大学;2011年

6 张伟;基于复杂社会网络的网络舆情演化模型研究[D];哈尔滨工业大学;2014年

7 陈t熀，

本文编号：1070780