基于概率流的梯度估计

发布时间：2024-10-05 09:47

　　变分推断是一种用于逼近概率模型后验分布的机器学习技术。重参数化技术是目前最常用的变分推断梯度估计技术,然而其只能应用于少数参数分布族,如具有位置参数和尺度参数的概率分布族。虽然有一些研究工作推广了重参数化技术,使其能够处理诸如伽玛分布、狄利克雷分布等较为复杂的概率分布,但是这些方法难以自然地推广到多元分布上。本文对多元变分分布的变分优化问题开展了研究,重点针对多元变分分布和流体运动的相似性,进行了三个方面的工作,主要内容如下:(1)通过将变分分布和流体运动进行对比,提出了变分分布的概率流模型,并通过该模型对重参数化技术进行了分析,发现在概率流的观点下,重参数化技术和选取的标准化变换是无关的,所有的标准化变换都导致了相同的速度场,并证明了该速度场是连续性方程的一个特解;(2)基于概率流的速度场提出了三种不同形式的梯度——零流量梯度、修正全梯度和流增量梯度,而且通过流增量梯度分析了速度场和流增量的大小与梯度估计方差的关联,并证明了,随着速度场和流增量L2范数的增大,梯度估计的方差也会变大,最终趋向无穷;(3)基于零流量梯度的形式提出了基于多项式的概率流梯度估计子,并且针对可分解分布给出了该梯...

【文章页数】：63 页

【学位级别】：硕士

【部分图文】：

图5-1有均匀先验的多项分布似然的狄利克雷分布逼近结果

浙江大学硕士学位论文第5章实验与分析39图5-1有均匀先验的多项分布似然的狄利克雷分布逼近结果表5-1有均匀先验的多项分布似然的狄利克雷分布逼近结果A1.00001.23001.45001.67001.8900G-REP3302.85032742.90511359.4979130....

图5-3Olivettifaces实验结果

浙江大学硕士学位论文第5章实验与分析42SparseGammaDEF模型，是的先验分布；对于给定的，可以通过方程(22)计算似然。需要注意的是，隐状态的维度是和观察的数量成正比的。本节保持和Naesseth等人[23]相同的实验参数设置：在SparseGammaDEF模型(22)....

本文编号：4007822