基于LDA的微博灾害信息聚合——以台风为例

发布时间：2024-02-16 02:41

　　微博等社交媒体日益普及化为灾害应急提供了新思路。灾害应急任务离不开数据的支持,微博凭借自身优势搭建了一座灾区内与灾区外信息沟通的桥梁,其已经成为灾害事件中灾害信息及时获取的重要来源之一,然而微博数据非结构化且更新速度快的特征导致这些信息难以被充分利用。因此,如何从非结构化微博数据中快速聚合出灾害优势信息以辅助灾害应急决策是当前亟待解决的问题。本文针对当前微博信息聚合在灾害领域应用较少且现有微博信息聚合方法对微博信息利用不全面等现状,围绕聚合粒度以及聚合内容丰富度两个关键问题,提出了一种基于LDA的微博灾害信息聚合方法,研究内容主要包括:(1)研究了微博数据预处理方法。针对现有文本预处理方法没有考虑灾害特征导致预处理之后的微博数据并不能满足本文聚合需求问题,本文在现有方法基础上,结合灾害领域知识,制定了合适的微博数据预处理方案。(2)研究了基于LDA的灾害主题模型构建方法。从微博灾害信息聚合快速且尽可能全面的聚合需求出发,总结了模型参数估计方法的三项原则,即高辨识度、高主题差异度、低时间复杂度,并通过实验分析确定Gibbs采样作为主题模型的参数估计方法。(3)研究了微博灾害信息聚合方法。...

【文章页数】：73 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第1章 绪论
    1.1 研究背景与意义
    1.2 研究现状综述
        1.2.1 微博信息聚合
        1.2.2 主题模型
        1.2.3 研究现状总结
    1.3 研究目标与内容
        1.3.1 研究目标
        1.3.2 研究内容
    1.4 技术路线
    1.5 论文组织结构
第2章 微博数据采集与预处理
    2.1 微博数据采集
        2.1.1 网络爬虫技术
        2.1.2 微博开放平台介绍
        2.1.3 微博数据采集方案
    2.2 微博数据预处理
        2.2.1 中文分词
        2.2.2 停用词过滤
        2.2.3 无关词过滤
    2.3 本章小结
第3章 基于LDA的灾害主题模型构建
    3.1 LDA主题模型基本理论
        3.1.1 狄利克雷分布
        3.1.2 生成模型
        3.1.3 VEM参数估计
        3.1.4 Gibbs采样
    3.2 基于LDA的灾害主题模型构建过程
        3.2.1 总体流程概述
        3.2.2 灾害语料库构建
        3.2.3 LDA主题模型
        3.2.4 主题数目确定
        3.2.5 主题相似度
    3.3 实验与分析
        3.3.1 实验数据
        3.3.2 实验结果
        3.3.3 实验分析
    3.4 本章小结
第4章 微博灾害信息聚合
    4.1 基本理论
        4.1.1 词频-逆文本频度分析
        4.1.2 命名实体识别
    4.2 渐进求精的微博数据聚合
        4.2.1 灾害关键词
        4.2.2 时间
    4.3 微博灾害信息聚合
        4.3.1 时空分布信息
        4.3.2 主题特征信息
    4.4 聚合信息可视化方法
    4.5 本章小结
第5章 实验与分析
    5.1 实验平台搭建
    5.2 实验结果与分析
        5.2.1 实验数据
        5.2.2 实验结果与分析
    5.3 本章小结
第6章 总结与展望
    6.1 本文的研究成果
    6.2 创新点
    6.3 研究展望
参考文献
附录
    主要成果
    科研项目
致谢



本文编号：3900680