基于概率模型的细粒度话题演化分析技术研究与实现

发布时间：2020-08-20 19:03

【摘要】：近年来,微博、推特和脸书等在线社交平台迅猛发展,用户量激增,正在冲击传统新闻媒体,成为当今社会人们最重要的一个方便快捷的信息获取来源和传播渠道。人们也研究和依靠在线社交网络分析的理论和方法,发现并分析隐含在社交媒体中的话题及其演化规律。随着数以亿计、来自不同领域方向,具有不同背景的人群,持续地在社交媒体上分享自己对于成千上万社会热点事件的观点与思想,上述话题的演化分析需求也被迫向着精准化和更细粒度的方向发展。基于用户感兴趣信息内容的发现并追踪社交网络中出现的事件的细粒度话题演化过程,成为当前话题演化分析研究的重要问题之一。本文在研究话题发现与演化的基础上,对基于在线社交网络的文本流中细粒度话题演化模型进行了深入的研究。主要关注如何从高度动态化的在线短文本数据流中,挖掘出用户感兴趣的高质量细粒度话题,并对其演化过程进行追踪和研究。帮助用户在高速变化的网络时代及时有效地了解和掌握其所关注的方面最前沿、最敏感的话题,并根据这些话题的演化规律和发展趋势做出相应的判断和决策。本文的主要研究内容,包括以下三个部分:第一,对当前主流的话题发现与演化技术进行研究,再结合新浪微博等在线社交网络中短文本的特点以及文档集合自带的时间信息,针对用户对于话题演化分析更聚焦、更细节的需求,分析了现有方法在解决这个问题中可能存在的不足与局限性,在TTM模型(targeted topic model)的基础上改进扩展成可对在线文本流进行话题演化分析的细粒度话题演化模型FG-TEM(fine-grained topic evolution model)。第二,定义了子话题间的五种关系。通过对文档集合按照固定尺寸的时间窗口进行划分,再通过细粒度话题演化模型获取不同时间窗口内的文档-话题概率分布和话题-词概率分布。通过计算不同时间窗口内子话题间的KL散度来判断子话题间的相似度,从而获得子话题间的演化路径,再计算不同时间窗口内各个子话题的话题强度。基于这一系列子话题间演化路径以及强度变化过程,绘制出用户感兴趣方面的细粒度话题在整个时间域上的细粒度话题内容和强度演化图。第三,针对在线社交网络文本的特点,提出了一种新的话题一致性度量指标EPMI。基于E-PMI对上述提出的细粒度话题演化模型进行评估,实验结果验证了FG-TEM生成的话题一致性高,质量好,更贴近用户需求,因此模型的效果也更好。
【学位授予单位】：国防科技大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP391.1
【图文】：

模型图,模型,多项式分布,概率分布

国防科技大学研究生院专业学位硕士学位论文主题都是固定词表上的一个多项式分布；每篇文档中的词与词之，每一个词都独立存在，交换彼此的顺序并不影响文档本身；每篇个话题，有一个固定的主题混合比例，从狄利克雷分布中抽样得到词都由其中一个话题生成。经典的 LDA 模型将文档集合中每一篇话题词的概率分布的形式表示。同时它是一种无监督学习算法，训注好的训练集，仅仅需要给定一个文档集合以及一个确定的话题数vidM.Blei 在 2003 年发表的论文中提出的 LDA 模型的原始模型，概率分布θ加上了狄利克雷先验，而对话题-词的概率分布φ并没有。而后 T.L.Giffiths 对原始 LDA 模型进行了改进，给话题-词概率分克雷先验，因为多项式分布和狄利克雷分布满足共轭分布特性，样算法来进行相应的参数推导。因为 Gibbs 采样推导简单，且效大多数的应用中，基本采用 Gibbs 采样算法来进行相关的参数估计型如图 2.1，其中阴影部分表示可观测变量，空心部分表示隐含变

模型图,模型图,模型,主题

国防科技大学研究生院专业学位硕士学位论文想。同时由于主题模型是无监督学习，所以即使在应用于大数据时，仍然可能产无法令人满意的结果。近年来，一种基于知识的主题模型被提了出来，这种模型要用户提供一些现有的领域知识来指导模型产生更好的话题。基于知识的主题模型同样也可以应用于聚焦式话题发现，在[20]中，作者利狄利克雷森林先验（DirichletForestPriors），将用户对于各种话题应该具有的各高概率或者低概率话题词的组成的了解和知识整合进主题模型中。ArjunMukherj等人则提出了一种基于用户提供的作为一些方面类别的种子词汇来准确发现用所需信息的方法，并设计了两种基于现有知识的主题模型 SAS 和 ME-SAS[21]，图 2.2。这两种模型将种子词汇作为反映用户感兴趣类别的关键词来自动提取并用户所需的信息。

模型图,模型图

图 2.3 TTM 模型图2.2话题演化模型分析分析主要是衡量分析同一个话，题随着时间的推移，话的动态性、发展性和差异性。话题演化分为两个方面：表示内容随着时间所产生的变化，而这个变化反过程，而发生的变化。例如，在国际会议开幕前夕，大家的关备工作，而在会议闭幕之后，大家的关注点就转移到了生活所带来的影响。则表示话题强度，随着时间的推移而经历的一个低潮到程，而这个变化的过程，反应了随着时间的推移，用户。例如，对于每年举办一次的全国人民代表大会，只有户关注，在非会议期间受到的关注程度较低。介绍在一些在线社交网络中最常用的且适用范围广泛

【相似文献】