概率模型的随机变分近似推理算法及应用研究

发布时间：2021-08-15 05:53

　　概率模型由于其灵活的表达形式成为当前广泛使用的密度估计和聚类工具之一。目前,随着因特网技术的快速发展,信息化数据呈现出爆炸式增长,如何将概率模型应用于大规模数据集上成为了急待解决的问题。针对这一现象,本文主要就如何解决大规模数据集上概率混合模型中的参数估计和模型需选择问题进行了深入探究。首先,本文介绍了当前概率模型的研究现状和意义,引出了概率模型的定义,对模型参数估计和模型选择的两种主要方法——确定性方法和非确定性方法进行了介绍,其中,确定性方法以EM算法为主,但是EM算法存在初始值敏感和不能自动确定混合分量数的问题。因此采用以贝叶斯方法为代表的非确定性方法。但是直接使用贝叶斯公式并不能求解,因此采用近似推理方法解决该问题。接下来,本文对逆狄利克雷混合模型进行建模,采用传统变分贝叶斯框架,通过不断最大化变分函数目标的下界来逼近真实的后验分布。在传统变分贝叶斯基础上,引入随机变分贝叶斯方法,解决传统变分贝叶斯方法效率低的问题。传统变分贝叶斯方法更新局部参数时需要估计所有数据点的局部变分参数。随机变分方法每次迭代更新局部参数先抽取部分样本计算局部变分参数,再根据局部变分参数求解中间全局变分... 

【文章来源】：北方工业大学北京市

【文章页数】：66 页

【学位级别】：硕士

【部分图文】：

二维高斯图像

第二章相关知识12(a)(b)(c)(d)图2-3不同参数下的贝塔分布图像：(a)=5，=5;(b)=0.6，=0.6;(c)=1，=1;(d)=0.5，=5贝塔函数适用于数据区间有限的情况下进行随机变量建模，在实际数据中，很多数据都是在有限区间内的，比如在图像处理中，图像像素的数值区间在[0,255]之间；在语音识别领域，线谱频率的特征在[0,]之间。有限区间的数据可以转换到特定的有限区间，因此用贝塔混合模型进行拟合具有很大的优势。2.狄利克雷和逆狄利克雷分布狄利克雷分布[36](DirichletDistribution)是多项式分布的共轭先验，它可以看做是贝塔分布推广到多变量的情况，D维的狄利克雷分布的定义如下：1111()(|)()dDDddDddddDirxx(2-15)其中变量满足：01dx并且1dDx，为狄利克雷分布的参数。贝塔分布是狄利克雷分布的特殊情况，可以看做是1dx的有效观测数，狄利克雷分布也是多项式分布的共轭先验。逆狄利克雷分布[37][38](InvertedDirichletDistribution)可以看成将逆Beta分布推广到多变量的形式。假设统计模型中的观测数据为x，0,1,...,dxdD，D维的逆狄利克雷的参数为12+1=,,...,TD，则其概率密度函数为：

第二章相关知识13111111111()(|)(1)()DdddDDDddDddddddiDirxxx(2-16)()代表伽马函数，它的函数为10()=ttuedt。参数不同，狄利克雷函数的图像也会相应的发生改变。狄利克雷图像非常灵活，可以是左偏、右偏或者对称，图2-4是不同参数下的逆狄利克雷图像。（a）（b）(c)图2-4不同参数下的逆狄利克雷分布图像：(a)123=8,=15,2;(b)123=3,=10,3;(c)123=2,=2,23.伽马分布伽马分布[39]（gammadistribution）是概率论中更加具有普遍性的一种连续概率密度函数，也是非常重要的一个分布。指数分布和卡方分布都是伽马分布的特例，伽马分布的表达式为：1(|,)()xGammaxxe(2-17)其中x0。为形状参数，为尺度参数，，0。伽马分布的期望和方差为：E(x)，2Var(x)。伽马分布具有以下几条性质：在尺度参数不变的情况下，伽马分布形状参数

【参考文献】：
期刊论文
[1]基于HOG和SVM的船舶图像分类算法[J]. 吴映铮,杨柳涛.  上海船舶运输科学研究所学报. 2019(01)
[2]贝塔混合模型的变分贝叶斯学习及应用[J]. 赖裕平,高宁,何闻达,平原,杜春来,王宝成,丁洪伟.  电子学报. 2018(07)
[3]Variational Bayesian Inference for Finite Inverted Dirichlet Mixture Model and Its Application to Object Detection[J]. LAI Yuping,PING Yuan,HE Wenda,WANG Baocheng,WANG Jingzhong,ZHANG Xiufeng.  Chinese Journal of Electronics. 2018(03)
[4]基于深度学习神经网络的SAR图像目标识别算法[J]. 梁鑫,徐慧.  江汉大学学报(自然科学版). 2016(02)
[5]基于内容感知的DLP技术分析与研究[J]. 王文宇.  信息安全与通信保密. 2011(11)
[6]马尔科夫链蒙特卡罗方法研究综述[J]. 朱新玲.  统计与决策. 2009(21)
[7]离散型区间概率随机变量和模糊概率随机变量的数学期望[J]. 肖盛燮,吕恩琳.  应用数学和力学. 2005(10)
[8]概率论中随机变量分布函数的讨论[J]. 韩利娜.  西安教育学院学报. 2002(03)

博士论文
[1]基于生成模型的大规模网络广义社区发现方法研究[D]. 柴变芳.北京交通大学 2015
[2]贝叶斯网络模型的变分贝叶斯学习与推理研究[D]. 沈忱.哈尔滨工程大学 2015
[3]非高斯混合模型的变分学习算法研究[D]. 赖裕平.北京邮电大学 2014
[4]基于统一概率模型的人脸识别技术[D]. 廖频.中国科学院研究生院（计算技术研究所） 2003



本文编号：3343984