面向分类准确率的受限玻尔兹曼机训练算法研究

发布时间：2020-08-20 12:47

【摘要】：人工智能在我们生活中的各个领域有着广泛的应用,它极大地提高了我们的工作效率和生活便捷性。而机器学习技术是目标实现人工智能最重要也是最主要的途径之一。其中,深度学习是目前最有前景的技术途径。在深度学习领域,深度置信网络无论是在监督学习还是无监督学习下都有着广泛的应用。深度置信网络的基本构成单元是受限玻尔兹曼机,受限玻尔兹曼机的训练效果对整个深度置信网络的性能有着至关重要的影响。因此,设计高效快速的受限玻尔兹曼机训练算法是十分必要的。基于以上背景,本文提出了三种受限玻尔兹曼机训练算法,重点研究和分析了算法的收敛特性和分类特性,所取得的成果可以为受限玻尔兹曼机和深度置信网络的训练提供理论和技术支持。本文主要的研究内容与创新点如下:(1)提出了一种动态采样策略。现有受限玻尔兹曼机训练算法在广义上都是基于固定采样策略,即固定采样链数,固定采样步数和固定采样初值。单一训练策略在并不能满足不同训练周期下的训练要求。固定采样链,固定采样步数,固定初值等采样策略,其最终性能受数据集的复杂度影响较大,而且不能兼顾整个训练周期内的性能。针对以上问题,我们提出了基于动态采样策略的受限玻尔兹曼机训练算法。针对不同数据集,在训练的不同周期内,分别采取不同的采样策略,兼顾了算法运行时间、网络收敛精度和分类准确率等多个指标。实验表明,动态采样策略更有利于网络训练过程的全局优化。(2)提出了一种梯度修正模型。现有受限玻尔兹曼机的训练算法都是基于Gibbs采样理论的,通过一条或多条Gibbs采样链进行采样迭代,获得网络分布的采样值,并根据采样值来计算网络梯度。但是在实际应用中,由于所有算法只进行有限步迭代,所以最终的网络分布采样值为有偏采样,基于此的计算得到的网络梯度为近似梯度,这就是现有算法在训练受限玻尔兹曼机过程中误差的主要来源,这也导致网络无法收敛到更好的状态。针对该问题,本文首先根据Markov采样理论和受限玻尔兹曼机本身的重构特性,提出了梯度修正模型。在梯度修正模型中,隐层对可见层的重构采样和可见层本身输入之间的差值定义为修正目标函数,该修正目标函数的梯度作为修正梯度与由传统采样算法计算得来的近似梯度相结合,共同完成对网络的训练。实验发现,该梯度修正算法使网络收敛到更好的状态,提高最终的分类准确率。(3)提出了一种新的动量算法,即权值动量。现有动量算法在训练受限玻尔兹曼机网络时会出现两个问题:前期加速效果不明显和后期加速失效。针对该问题,我们对网络权值进行了研究。通过实验分析我们发现,在网络权值中包含大量的梯度信息,而且随着训练迭代的增加,网络不断收敛,网络权值逐渐接近真实值,也就说,网络权值中蕴含的梯度信息会随着训练迭代的不断增加而变的越来越精确。我们认为,这些信息完全可以用来加速网络的训练过程。通过引入这些新的信息,新的动量算法不仅使得前期加速效果更加明显,而且在后期可以继续训练网络,克服了传统动量算法在训练后期加速失效的问题。实验还表明,将本文提出的权值动量算法与传统动量算法相结合,可以大幅提高传统动量算法的性能。(4)给出了受限玻尔兹曼机的实际军事应用案例分析。我们以无人机编队打击恐怖分子为例,研究了受限玻尔兹曼机在人脸识别中的能力。我们给出了整个无人机编队的任务流程和控制结构,明确了基于受限玻尔兹曼机的人脸识别的任务角色。最后通过仿真验证,证明了受限玻尔兹曼机以及本文所提算法在实际军事应用中的有效性。
【学位授予单位】：西北工业大学
【学位级别】：博士
【学位授予年份】：2018
【分类号】：TP18
【图文】：

组织结构图,组织结构,论文

从而从根本上提高算法性能。3）优化算法：对于机器学习模型而言，独立的第三方优化算法是除自身训练外，提高网络性能的最重要的技术途径。如动态学习率、动量算法等，这些优化以与网络训练算法进行结合，共同训练网络，可以极大地提高网络性能。基于此逻们在本文第五章设计了一种针对受限玻尔兹曼机网络的优化算法：权值动量算法法不仅可以与训练算法进行结合，提高受限玻尔兹曼机网络的分类性能，而且相统动量算法有着明显的性能提升。以上研究思路也就是本文各章节之间的深层逻辑关系。下面我们给出本文的各主要研究内容及其各组织结构。3 论文研究内容及组织结构一章：绪论第七章：总结第三章：动态采样策略

示意图,无向图,模型,马尔科夫随机场

受限玻尔兹曼机在模式识别、图像处理、协同滤波、领域取得了广泛的应用。从广义上讲，受限玻尔兹曼机属于马尔科夫随机场的一种。同时，受限玻尔兹曼机又具有随机不仅可以像马尔科夫随机场那样对数据分布进行建模，同时的特性。因此，我们从图模型开始，逐步对受限玻尔兹曼机和马尔科夫随机场型[120, 121]通过一定的图结构来对随机变量之间的独立特性和假设有两组随机变量和，在给定随机变量的条，则和条件独立。通过图结构进行可视化，推理和演化概率模型。同时，也将复杂概率问题转化为图结模型都属于图模型，如贝叶斯模型，因子模型和马尔科夫随和因子模型属于有向图结构，而马尔科夫随机场模型属于无

示意图,网络结构,示意图,联合分布

图 2-2 RBM 网络结构示意图值 RBM[129] [167]，即随机变量取值[167]。由二的联合分布满足分布，其中为为网络的能量函数[167]：，。则输入层分布满足[167]：分函数：。理论证明，在给定隐层节点的条件下近任意分布。

【相似文献】