顾及时空主题特征的分布式灾害舆情信息获取与分析方法研究

发布时间：2020-05-17 05:00

【摘要】：社交媒体作为自然灾害发生期间独特的信息来源,蕴含丰富的灾情时空信息,对灾害事件的态势感知和防灾减灾工作有着重要意义。然而,灾害舆情数据的获取、存储、处理和分析均面临着重大挑战,因此如何有效提高数据获取效率、实现高效地存储检索,如何从非结构化社交媒体数据中快速提取灾害信息、探索时空分布趋势以辅助灾情及时响应评估是当前亟待解决的问题。本文基于目前国内最热门的社交媒体平台——新浪微博,研究并提出了顾及时空主题特征的分布式灾害舆情信息获取与分析方法,从另一种视角反映现实灾害事件,研究内容主要包括:1)分布式框架下的灾害舆情精准爬取与高效存储技术。为解决现有微博信息采集方式存在的主题相关性缺乏和可选择性不足等问题,提出了一种顾及灾害主题特征的爬行策略;针对多元化的灾害舆情数据时空检索需求,提出并搭建了基于QBPSTR-tree的灾害舆情分布式存储架构;在此基础上,通过Scrapy框架的重新定制以及关键技术模块的优化改进,设计实现了面向新浪微博平台的灾害数据获取与存储框架,可为灾情态势感知提供精准可靠的数据支持。2)灾害舆情信息时空-主题分析方法。构建了一种基于文本主题语义和时空约束的主题分类模型,充分考虑灾害舆情数据的主题语义和时空聚集等特性,对灾害信息进行实时提取分类;考虑到社交媒体用户时空分布异质性对分析的影响,基于用户活跃度构建了灾害舆情时空加权模型,在此基础上,从时空双重定位视角提出灾害舆情时空-主题演化过程的分析方法,充分挖掘灾害舆情数据与现实灾害事件之间的关联性,为灾害事件时空模式的探索提供新的分析视角。搭建实验测试平台并选取“台风山竹”为典型案例,验证本文研究方法的有效性。研究结果表明,本文方法能够针对灾害事件时空主题特征,从海量微博数据中及时、准确地获取相关的舆情数据,减少了非相关数据的干扰,有效提高大规模数据量场景下的存储与检索效率;通过灾害舆情主题分类模型,结合地理时空大数据分析与动态可视化技术,较全面地提取出社交媒体数据中的灾害主题信息,能够反映现实灾害事件的发展态势,且经加权处理后的灾害舆情数据能更好的体现灾害分布的时空格局,可为灾害事件的及时应对提供分析参考。
【图文】：

请求访问初始ＵＲＬ并提取其中包含的所有ＵＲＬ地址，将有用的ＵＲＬ放置队列逡逑中以待后续爬取，该过程一直循环直到条件不满足时停止，最后将爬取到的数据逡逑保存管理起来（刘志杰，２０１７），，具体结构如图２．１所示。逡逑ｆ邋开始逡逑＼逦逦ｙ逡逑请求访问逡逑初始ＵＲＬ逡逑卜解析网页逡逑，，逡逑￥取数据，￥取目＆ＵＲＬ逡逑故入ＵＲＬ队列逡逑Ａ邋．邋ＵＲＬ队列是否为空？：：＞逡逑（逦结束邋）逡逑图２．１通用网络爬虫流程图逡逑互联网中的数据规模庞大、结构复杂且更新频率高，网络爬虫通常需要解决逡逑ＩＩ逡逑

请求访问初始ＵＲＬ并提取其中包含的所有ＵＲＬ地址，将有用的ＵＲＬ放置队列逡逑中以待后续爬取，该过程一直循环直到条件不满足时停止，最后将爬取到的数据逡逑保存管理起来（刘志杰，２０１７），具体结构如图２．１所示。逡逑ｆ邋开始逡逑＼逦逦ｙ逡逑请求访问逡逑初始ＵＲＬ逡逑卜解析网页逡逑，，逡逑￥取数据，￥取目＆ＵＲＬ逡逑故入ＵＲＬ队列逡逑Ａ邋．邋ＵＲＬ队列是否为空？：：＞逡逑（逦结束邋）逡逑图２．１通用网络爬虫流程图逡逑互联网中的数据规模庞大、结构复杂且更新频率高，网络爬虫通常需要解决逡逑ＩＩ逡逑
【学位授予单位】：浙江大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.1;X43

【相似文献】

相关期刊论文 前10条

1 孙晓颖;荆建蕾;刘亚梅;常淑敏;;同伴拒绝儿童的初始沙盘特征分析[J];中国学校卫生;2017年06期

2 钟将;张淑芳;郭卫丽;李雪;;主题特征格分析:一种用户生成文本质量评估方法[J];电子学报;2018年09期

3 邹永利;;学术文献的非主题特征及其意义[J];中国图书馆学报;2011年03期

4 冯维;;论新世纪美国文学的主题特征的转化[J];鸭绿江(下半月版);2015年10期

5 袁毅;主题特征度在核心网站评价中的作用[J];情报杂志;2005年10期

6 杨金才;;论新世纪美国小说的主题特征[J];深圳大学学报(人文社会科学版);2014年02期

7 杨虎涛;;演化经济学的方法和主题特征及其演变——一种以“另类教规理论”为例的解释[J];财经研究;2010年01期

8 陈牧;;城市中公共活动场所的主题特征及形成原理[J];中华建设;2012年09期

9 洪流;曹慧;;欢乐自在[J];中国皮革;2005年24期

10 谭晶;王庆党;;“文革”期间毛泽东主题绘画的主题特征[J];青年文学家;2015年21期

相关会议论文 前2条

1 陈文亮;朱靖波;姚天顺;;企业网络监管系统CNM的设计与实现[A];辉煌二十年——中国中文信息学会二十周年学术会议论文集[C];2001年

2 蔡黎;彭星源;柯登峰;赵军;;少数民族汉语考试作文自动评分的特征提取研究[A];第五届全国青年计算语言学研讨会论文集[C];2010年

相关重要报纸文章 前2条

1 记者 陈健;体育产业符合强主题特征[N];上海金融报;2014年

2 山东省青州第二中学 李娟;小小说阅读应考策略[N];学知报;2010年

相关博士学位论文 前2条

1 臧睦君;图像场景识别的特征研究[D];吉林大学;2015年

2 李文峰;基于主题模型的用户建模研究[D];北京邮电大学;2013年

相关硕士学位论文 前10条

1 竺佳芳;顾及时空主题特征的分布式灾害舆情信息获取与分析方法研究[D];浙江大学;2019年

2 李家乐;基于深度学习的问题回答技术研究[D];北方工业大学;2019年

3 曾庆旺;基于ResearchGate的科研合作者推荐研究与实现[D];北京交通大学;2018年

4 郑灶旭;基于主题特征和深度学习的情感分析算法研究[D];华南理工大学;2018年

5 秦雨;基于主题特征的专家关系网络构建方法研究[D];昆明理工大学;2015年

6 梁霄;博物馆主题式设计实践研究[D];延边大学;2014年

7 苏庭波;产品评论的意见倾向分类技术研究[D];安徽工业大学;2011年

8 易金锋;营造景区主题特征的建筑设计手法研究[D];西安建筑科技大学;2010年

9 高洁;基于主题特征的情感分类及推荐算法研究[D];天津大学;2016年

10 王晶;新时期以来中国大陆电影的“行走叙事”研究[D];山东师范大学;2015年

本文编号：2667980