基于动力学的蒙特卡洛采样方法

发布时间：2021-10-30 00:51

　　在机器学习和贝叶斯推理中,复杂的概率模型通常需要计算难解的高维积分。马尔科夫链蒙特卡洛（Markov Chian Monte Carlo,MCMC）是一种常用的贝叶斯概率模型的近似方法。MCMC利用从马尔科夫链中采样得到的样本去近似复杂的概率分布。当采样的样本数量足够大时,它能够为概率模型提供渐近无偏的估计。基于动力学的采样方法是当前最流行的MCMC方法之一,其中哈密尔顿蒙特卡洛（Hamiltonian Monte Carlo,HMC）是基于动力学的MCMC方法中最典型的代表,它利用哈密尔顿动力学去构建马尔科夫链,从而高效地从目标分布中采样。然而,HMC在样本自相关性和多模态采样问题上存在明显的不足。本文的工作是研究基于动力学的采样方法,并设计能够采样多模态分布的高性能的采样器。首先,为了进一步提高现有动力学采样器的性能,即提高收敛速度和降低样本的自相关性,本文提出了神经郎之万蒙特卡洛（Neural Networks Langevin Monte Carlo,NNLMC）。它充分利用了神经网络的灵活性和郎之万动力学采样的高效性来构建一种新的MCMC采样方法。我们提出了新的更新公式来产生... 

【文章来源】：华东师范大学上海市 211工程院校 985工程院校 教育部直属院校

【文章页数】：78 页

【学位级别】：硕士

【部分图文】：

包含单一隐层和单一单元的多层感知机

华东师范大学硕士学位论文第三章神经郎之万蒙特卡洛15图3.1NNLMC的更新过程2111111111111111111,2,,,nnxnnxnnnxnnnnnnxnnnnnnnmfxUxxUxaxUxcmaisxUxcixz，，，，，(3.1)其中“”表示逐个元素相乘，表示离散化的步长，nz是一个标准的高斯分布。1(x)yWRelu(Wx)和2()()sssxyWReluWx，它们分别是由1W、W、2W和sW参数化的神经网络，其中y是神经网络的输出，Relu表示激活函数。我们没有在最后的输出层使用激活函数。神经网络()和s()的结构如图3.2所示。.图3.2NNLMC中神经网络的结构图

华东师范大学硕士学位论文第三章神经郎之万蒙特卡洛15图3.1NNLMC的更新过程2111111111111111111,2,,,nnxnnxnnnxnnnnnnxnnnnnnnmfxUxxUxaxUxcmaisxUxcixz，，，，，(3.1)其中“”表示逐个元素相乘，表示离散化的步长，nz是一个标准的高斯分布。1(x)yWRelu(Wx)和2()()sssxyWReluWx，它们分别是由1W、W、2W和sW参数化的神经网络，其中y是神经网络的输出，Relu表示激活函数。我们没有在最后的输出层使用激活函数。神经网络()和s()的结构如图3.2所示。.图3.2NNLMC中神经网络的结构图


本文编号：3465714