深度学习与多元特征相结合的事件检测与摘要研究

发布时间：2024-10-02 21:41

　　近年来,随着互联网的高速发展与普及,网络社交平台得到了广泛的应用,尤其在重大新闻事件发生时,网络媒体对新闻事件的传播速度和影响范围已经超过了传统媒体。Twitter作为用户众多的流行社交平台,基于此平台信息进行的事件检测获得了广泛的研究与关注。通过分析重大事件发生时Twitter上推文内容从而智能地检测出发生了什么并及时概括对用户了解事件的原委并相应地做出反应有着积极的意义。此任务一般分为事件检测与摘要两个重要环节,首先对Twitter平台数据进行分析检测发生的事件,然后通过抽取或者生成的方法对相关事件进行概括并最终获得摘要。本文主要研究了面向Twitter数据的地震事件检测与摘要问题,即分析Twitter平台相关数据检测出所发生的事件,并对该事件以摘要的形式进行概括。其核心问题就是通过聚类进行事件检测过程中的相似度计算以及获得事件簇的摘要而对同一个事件簇内部的数据进行打分。调研分析发现,前期工作多基于统计特征如词汇特征、句法特征等来完成。随着深度学习在自然语言处理方面的普及和广泛应用,基于深度学习的事件检测与摘要也有了进一步的发展。深度学习模型不依赖人工提起特征,能够较全面地获得数据的...

【文章页数】：67 页

【学位级别】：硕士

【部分图文】：

图2-1主题模型生成文档集示例

图2-1主题模型生成文档集示例2-1中C表示整个语料库上的所有词语在每篇文档中的概率分布有词语在每个不同主题下的概率分布矩阵，而Θ则表示所有主题档下的概率分布矩阵。整个图2-1通过矩阵相乘的形式示例了按）服从概率分布先生成主题，再根据主题生成词语集合，最终生成过程....

图2-2LDA和BTM模型生成文档图例

而文档d关于biterm项的条件概率由经验统计获得，见公式（2jNjjjdbbpbd1##(|)其中代表biterm项jb在文档d中出现的次数。通过上述计算可以获得每个文档关于所有主题的条件概率，由此该文档的主题分布。因为不同文档对应的biterm集....

图2-3两条数据构建的graph-of-wordsgraph-of-words一旦构建完毕，就可以通过k-degeneracy的方式获得簇内关键词，根据关键词的权重对每条数据打分进而辅助进行摘要环节的推文抽取任

图2-3两条数据构建的graph-of-wordsgraph-of-words一旦构建完毕，就可以通过k-degeneracy的方式获得簇内关键词，根据关键词的权重对每条数据打分进而辅助进行摘要环节的推文抽取任务。2.3.2.2k-degeneracy与core....

图2-4degeneracy示例

哈尔滨工业大学工程硕士学位论文的k-core即为按权重降序的top-K个关键词。4为例，假设K=5，则根据上述算法，依次删)，NODE(final)，NODE(gotz)；剩余的点NODE(win)ni)，NODE(argentina)，NODE(score)等....

本文编号：4006389