变分推理及贝叶斯方法在主题模型中应用的研究

发布时间：2020-05-10 13:36

【摘要】：贝叶斯方法作为机器学习的主流方法之一,为推动人工智能等诸多领域的发展做出了重要贡献。贝叶斯模型的推理是贝叶斯方法的核心。贝叶斯模型的一个关键问题是计算后验分布,然而在很多实际应用中,后验分布难以计算精确解,只能寻求近似解,变分方法是目前解决这一问题的一种常用方法。贝叶斯方法的一个重要应用是文本挖掘。随着大数据的快速发展,挖掘文本隐含的主题信息受到工业界和学术界的极大关注。主题模型作为一类重要的贝叶斯模型是挖掘文本主题信息的主流模型。该模型将主题定义成关于词项的多项分布,用边缘概率最大的前M个单词组成前端单词列表作为主题的一种表示。本文围绕着贝叶斯方法及其应用进行研究,主要包括两个部分。第一部分是对贝叶斯方法中的一类主流方法,即变分推理方法进行研究。第二部分是对贝叶斯方法在主题模型中的应用进行研究。具体工作内容如下:1.主流的传统变分推理方法主要包括标准的变分推理(mean-field variational inference,MFVI),可积分的变分推理(collapsed variational Bayesian inference,CVB),hybrid变分推理(hybird variational-Gibbs,HVG)以及期望传播方法(expectation propagation,EP)。上述方法被广泛用于各种实际问题中,但是哪种方法适合哪类应用是没有衡量标准的。因此对于一个实际的应用,在没有执行完所有的推理方法之前,很难准确地直接找到一个适合于此应用的推理方法。因此,本文面向LDA(latent Dirichlet allocation)模型从两个方面:(1)变分分布的形式;(2)a-散度类型,对上述这四种推理方法进行了系统地理论分析,得到关于计算精度的排名是CVBEP≈HVGMFVI,时间复杂度的排名为MFVIEP=HVGCVB(从高到低),空间复杂度的排名为CVBEP=HVG=MFVI(从高到低)。为了进一步验证上述理论分析,本文面向LDA模型,在2个人工合成数据集和5个实际应用数据集上,使用两种常用的评价标准,即perplexity和pointwise mutual information(PMI)评分,分别对这四种方法的预测性能和推断出的主题质量进行比较。实验结果和理论分析几乎保持一致,即CVB方法比其他三种方法近似效果更好、效率更快。对于大多数的实际应用,在不考虑空间要求的情况下建议使用CVB方法。2.大多数传统变分推理方法都是基于平均场假设的,忽略了变量之间的依赖关系,这对于某些具有变量依赖关系的模型来说是不适用的,常常会导致变分过程计算精度下降,出现低估的趋势。Copula变分推理(copula variational inference,CVI)使用copula函数可以很好地解决模型中变量依赖问题,提高变分过程的计算精度。但是CVI方法需要从copula扩展的变分分布中采样形成目标函数的蒙特卡洛梯度,这是一个非常耗时的过程,特别是对于变量较多的复杂模型,因此CVI方法对于很多实际应用是不可行的。为了加快CVI方法的推理速度,本文提出fast CVI方法(FCVI)。FCVI方法将目标函数的蒙特卡洛梯度表示成相对于平均场的期望形式,因此只需要从更简单的平均场分布中采样,而不需要从copula扩展的变分分布中采样,就可以对蒙特卡洛梯度进行估计。因此本文提出的方法在采样过程中效率更高,将时间复杂度从O(D~2)降低到O(D)。本文使用高斯混合模型(Gaussian mixture model)和隐空间模型(latent space model),在人工合成数据集和实际应用数据集上验证FCVI方法的高效性和可行性。实验结果表明FCVI方法在保证计算精度的同时,加速了CVI方法的推理时间。3.传统的主题表示方法是用边缘概率最大的前M个单词组成前端单词列表作为主题的一种表示方法。但是在某些实验中发现主题的前M个单词列表中经常包含一些不具有代表性(representative)的单词,甚至是无意义的噪声词。因此,本文通过考虑某个主题的主题词在其他主题上的边缘概率,重排该主题的前端单词列表。本文提出三种主题词重排策略:(1)使用标准差权重(standard deviation weight);(2)使用带有主题规模的标准差权重;(3)使用卡方检验(Chi SquareX~2)。本文针对LDA模型,在两个实际应用数据集上,首先验证这三种重排策略是否能够准确地过滤掉类停用词,然后通过单词侵入(word intrusion)任务验证这三种重排策略是否能够输出语义更相关的主题词。实验结果表明这三种重排策略能够输出更具代表性的主题词,使主题在语义上更具一致性和可解释性。
【图文】：

固定参数,数据集,博士学位论文,吉林大学

吉林大学博士学位论文法的 perplexity 值低于 MFVI 方法的 perplexity 值。在 WEBKB、NIPS上，MFVI 方法的 perplexity 值低于 HVG 方法的 perplexity 值。然而，它特别小。这些实验结果和之前的分析是不匹配的，，原因可能是 HVG 方法程导致了额外的偏差。

固定参数,数据集

（b）固定参数的情况下在NIPS数据集上的perplexity结果
【学位授予单位】：吉林大学
【学位级别】：博士
【学位授予年份】：2019
【分类号】：TP391.1;TP181

【相似文献】