基于图的中文微博灾难事件检测

发布时间：2017-09-05 01:50

  本文关键词：基于图的中文微博灾难事件检测

  更多相关文章： 社交媒体 网络舆情 事件模型 事件检测 实时计算 基于图的事件相关度计算

【摘要】：近几年来,灾难事件越来越多地引起公众关注,由于信息社会消息的传播速度大大提升,灾难事件的舆论影响越来越突出。因此,对灾难事件进行实时监控和社会性分析有了越来越广泛的应用需求。在网络环境下,真实世界和虚拟世界具有相互映射的便利性,用户可以持续并大量地将汇集到网络社交平台。由于传统基于词汇向量的文本分析方式在短文本上的表现不足,本文提出以灾难关键词为中心,上下文敏感的基于图的短文本灾难事件建模方法(HCCG)。HCCG模型通过定义实体关系生成规则,构建了适用于短文本的上下文实体关系图模型,有效地刻画了灾难事件的属性。模型充分挖掘消息级别(message-level)和流级别(stream-level)的上下文,能有效地过滤短文本常见的噪音,汇聚分散的社交媒体信息,直观地用实体关系模型展示中间和最终的事件探测结果。在图模型的基础上,本文设计并实现了用最大公共子图和最小公共超图的信息量之比的计算方案来刻画两个事件之间的相似度。在相似度计算的基础上,本文设计并实现了微博事件的实时聚类,在聚类过程中逐渐突出事件的新闻要素。在系统架构的设计上,本文采用聚类和分类二阶段框架,实现了一阶段事件聚类,二阶段灾难事件分类的事件识别系统。考虑社交网络的实时性本质,我们将上述流程部署在Storm流式计算平台上。为增加社交媒体信息使用效率,本文进一步将短文本情感分析整合在我们的灾难管理系统中,判别识别出的灾难事件类是客观描述类还是公众主观情感类,并为主观情感类量化评分。我们的方法在新浪微博平台上有良好的测试结果。
【关键词】：社交媒体 网络舆情 事件模型 事件检测 实时计算 基于图的事件相关度计算
【学位授予单位】：浙江大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：G206
【目录】：

• 摘要5-6
• Abstract6-11
• 第1章 绪论11-16
• 1.1 课题背景11-12
• 1.2 研究目的及内容12-15
• 1.3 本章小结15-16
• 第2章 国内外研究现状16-29
• 2.1 文档建模16-18
• 2.2 事件建模18-19
• 2.3 事件检测19-21
• 2.3.1 基于波动分析的事件检测20
• 2.3.2 基于相似性聚类的事件检测20-21
• 2.4 情感分析21-23
• 2.4.1 基于词典和语义规则的方法22
• 2.4.2 基于机器学习的方法22-23
• 2.5 分布式实时计算23-28
• 2.5.1 主流分布式计算平台23-24
• 2.5.2 Storm流计算平台24-28
• 2.6 本章小结28-29
• 第3章 微博数据实时抓取与预处理29-39
• 3.1 针对灾难事件的微博主题爬虫29-32
• 3.2 数据预处理32-38
• 3.2.1 数据的解析与存储32-35
• 3.2.2 中文分词与词性标注35-38
• 3.3 本章小结38-39
• 第4章 HCCG事件建模与在线聚类39-57
• 4.1 微博事件抽取任务框架39-42
• 4.2 HCCG事件建模及相似度计算42-50
• 4.2.1 HCCG事件建模43-48
• 4.2.2 基于图的相似度计算48-50
• 4.3 微博主客观判断及情感分析50-52
• 4.4 面向分布式系统的微博事件聚类分类算法52-56
• 4.4.1 分布式部署和实现52-54
• 4.4.2 HCCG的增量式聚类54-55
• 4.4.3 灾难事件分类55-56
• 4.5 本章小结56-57
• 第5章 实验结果及分析57-63
• 5.1 实验环境和数据集介绍57-58
• 5.2 聚类性能实验58-60
• 5.3 分类性能实验60-62
• 5.4 本章小结62-63
• 第6章 总结与展望63-65
• 6.1 全文总结63-64
• 6.2 未来研究方向64-65
• 参考文献65-69
• 攻读硕士学位期间主要的研究成果69-70
• 致谢70

【相似文献】

中国期刊全文数据库 前10条

1 洪宇;张宇;范基礼;刘挺;李生;;基于子话题分治匹配的新事件检测[J];计算机学报;2008年04期

2 史新宏,蔡伯根;高速公路自动事件检测算法[J];交通运输系统工程与信息;2001年04期

3 周林英;朱斌;赵忠杰;;基于支持向量机的高速公路事件检测算法[J];系统仿真技术;2010年03期

4 陈艳艳;田启华;;公交调度系统事件检测算法研究[J];北京工业大学学报;2011年12期

5 郝艳哲;;京秦高速公路视频事件检测系统应用[J];中国交通信息化;2013年04期

6 王闯舟;;提升事件检测的商业价值[J];软件世界;2007年20期

7 王彩琴;;基于智能分析的高速公路事件检测系统的研究与开发[J];浙江统计;2007年11期

8 王颖颖;张峗;胡乃静;;在线新事件检测系统中的性能提升策略[J];计算机工程;2008年15期

9 仓玉;洪宇;姚建民;朱巧明;;基于时序话题模型的新事件检测[J];智能计算机与应用;2011年03期

10 楼晓俊;鲍必赛;刘海涛;;分布式信息融合的物联网事件检测方法[J];南京邮电大学学报(自然科学版);2012年01期

中国重要会议论文全文数据库 前10条

1 洪宇;张宇;范基礼;刘挺;李生;;基于子话题分治匹配的新事件检测[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年

2 刘霄;邵健;庄越挺;;基于主题模型的网络突发热点事件检测[A];第七届和谐人机环境联合学术会议（HHME2011)论文集【poster】[C];2011年

3 胡佳锋;金蓓弘;陈海彪;;空间事件检测的加速策略研究[A];第七届和谐人机环境联合学术会议（HHME2011)论文集【oral】[C];2011年

4 万涛;陈学武;王川久;;高速公路事件自动检测算法研究综述[A];第一届中国智能交通年会论文集[C];2005年

5 张阔;李涓子;吴刚;;基于关键词元的话题内事件检测[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年

6 覃频频;许登元;姚起宏;黄大明;;基于表决融合的高速公路事件检测算法融合[A];'2006系统仿真技术及其应用学术交流会论文集[C];2006年

7 陈俊;李国辉;;拥挤视频监控中的事件检测[A];第七届和谐人机环境联合学术会议（HHME2011)论文集【poster】[C];2011年

8 张永忠;赵静;;基于事件检测算法的交通数据分析系统[A];中国计量协会冶金分会2008年会论文集[C];2008年

9 刘海龙;李战怀;陈群;;RFID供应链系统中的在线复杂事件检测方法[A];NDBC2010第27届中国数据库学术会议论文集A辑二[C];2010年

10 周春姐;孟小峰;文洁;;Flickr中的复合事件检测[A];NDBC2010第27届中国数据库学术会议论文集(B辑)[C];2010年

中国重要报纸全文数据库 前2条

1 王闯舟;事件检测提升服务的商业价值[N];计算机世界;2006年

2 杭州海康威视数字技术股份有限公司 浦世亮;IVS技术在城市安防系统中的应用[N];计算机世界;2008年

中国博士学位论文全文数据库 前4条

1 刘昌余;多媒体事件检测中的关键技术研究[D];华南理工大学;2015年

2 覃频频;基于信息融合的高速公路事件检测建模与仿真[D];西南交通大学;2007年

3 余柳;基于移动源数据的城市快速交通事件检测W-CUSUM算法与评价[D];北京交通大学;2010年

4 柯佳;基于语义的视频事件检测分析方法研究[D];江苏大学;2013年

中国硕士学位论文全文数据库 前10条

1 裴孝中;行车噪声环境下的快速声学事件检测方法研究[D];哈尔滨工业大学;2015年

2 熊伟晴;基于位置信息的事件检测[D];哈尔滨工业大学;2015年

3 李旭;面向多来源新闻的领域事件分析[D];浙江大学;2015年

4 陈斌;基于云的复杂事件检测服务[D];浙江大学;2015年

5 肖军;基于车检器数据的高速公路事件检测可靠性提升技术研究[D];重庆大学;2015年

6 孙方园;基于图的中文微博灾难事件检测[D];浙江大学;2016年

7 周林英;基于支持向量机的高速公路事件检测算法[D];长安大学;2009年

8 龙睿;针对微博数据的事件检测、跟踪及摘要生成[D];上海交通大学;2012年

9 赵晓芳;高速公路事件检测算法研究[D];五邑大学;2008年

10 马海芳;面向长过程的复杂事件检测技术的研究[D];东北大学;2010年

，

本文编号：795117