基于舆情大数据的突发事件实时检测算法与系统

发布时间：2024-02-27 06:42

　　运用大数据提升政府治理和民生保障服务水平,是实施国家大数据战略的重要任务之一。随着政务服务信息化水平的日益提高,政府服务积累了越来越多的数据信息。其中,12345公共服务热线平台累积了大量民生诉求数据,从这些海量诉求数据中以智能化分析方法挖掘民生类突发事件,对于提升政务服务质量与效率具有重要价值与意义。但是,目前国内外针对政务服务领域开展突发事件检测的相关研究与应用还很少,而现有的基于社交媒体短文本的突发事件检测方法也不适用于政务服务领域突发事件检测。因此,针对以上问题,本文研究提出了一种突发事件实时检测方法与算法RAEDetection。本文的研究内容与贡献点主要包括:(1)研究提出了一种基于公共服务热线诉求大数据的突发事件实时检测方法与算法RAEDetection。首先,基于Kleinberg模型提出了一种突发词实时识别算法,可以从流式诉求记录中实时识别突发词汇,为后续突发事件检测提供线索;然后,研究实现一种基于分层语义分析的候选突发事件检测算法,从主题层与事件层两个层面逐步细化诉求数据记录的聚类结果,得到候选突发事件;在此基础上,进一步研究提出一种基于事件地域树的地域模式自适应识...

【文章页数】：111 页

【学位级别】：硕士

【部分图文】：

图2-2无限状态Kleinberg状态机模型

第二章相关背景知识10图2-2无限状态Kleinberg状态机模型2.1.2文本表示方法在自然语言处理技术中，需要将文本表示为计算机能够计算的结构化数据，才能通过计算机进行下一步的文本处理。从不同的角度出发，已经有大量研究者提出了不同的文本表示方法。目前常用的几种文本表示方法主要....

图2-3LDA概率图模型

第二章相关背景知识11LDA是一种三层次的贝叶斯概率模型，作为一种生成式概率主题模型，其基本思想是将文档表示为潜在主题的概率分布，将每个潜在主题表示为对应词的概率分布。LDA的生成过程如图2-3所示：图2-3LDA概率图模型图中M为文档集合总数量，K为潜在主题个数，R为第m篇文档....

图2-4CBOW模型与Skip-gram模型

第二章相关背景知识12型收敛之后，就可以得到该文档对应的主题分布与各主题下的词分布。（3）基于神经网络的分布式表示基于神经网络的分布式表示（DistributedRepresentation）又称为词嵌入，它们将每一个词映射成定长的密集向量。Bengio等人在2003年提出了最经....

图2-5Spark生态系统组件（1）SparkSQL组件可以处理结构化数据，提供了统一的数据访问借口，可

第二章相关背景知识17图2-5Spark生态系统组件（1）SparkSQL组件可以处理结构化数据，提供了统一的数据访问借口，可以将分布式SQL查询与Spark程序无缝对接，实现高效的数据查询与读取；（2）SparkStreaming提供了流计算组件，具有高吞吐、容错能力强的特点，....

本文编号：3912521