受限Boltzmann机算法及其应用研究

发布时间：2021-04-19 12:07

　　深度学习已成为当前人工智能领域的研究热点。受限Boltzmann机（Restricted Boltzmann Machine,RBM）是深度学习模型之一,它将数据图像拉成一维向量来处理,能够学习到输入数据的概率分布。因其表示能力强、是个很好的生成模型等优点被广泛用于深度神经网络。RBM训练优劣将直接影响整个深度网络的性能。因此,如何优化RBM算法以提高网络泛化能力和鲁棒性,是网络应用中的重要问题。本文主要针对RBM梯度近似算法、动量算法、正则化方法三个方面存在的算法性能问题、动量加速受限、正则化方法计算效率及泛化能力受限等问题展开研究及其在图像识别和地震数据去噪中的应用,主要工作如下:（1）提出一种基于RBM专家乘积系统的改进方法。将专家乘积系统原理与RBM算法相结合,采用全是真实概率值的参数更新方式会引起模型识别效果不理想和带来密度问题,为此将其更新方式进行改进;为加快网络收敛和提高模型识别能力,采取在RBM预训练阶段和微调阶段引入不同组合方式动量项的一种改进算法。通过对MNIST数据库中0-9手写数字体的图像识别,Extended Yale B和CMU-PIE数据库的人脸识别实验,... 

【文章来源】：中国地质大学湖北省 211工程院校 教育部直属院校

【文章页数】：151 页

【学位级别】：博士

【文章目录】：
作者简历
摘要
abstract
第一章 绪论
    1.1 研究背景及意义
    1.2 国内外研究现状
        1.2.1 神经网络发展历史
        1.2.2 受限Boltzmann机算法的发展现状
    1.3 本文研究内容及章节安排
第二章 受限Boltzmann机模型及算法概述
    2.1 受限Boltzmann机模型
        2.1.1 Ising模型
        2.1.2 Hopfield网络
        2.1.3 Boltzmann分布
        2.1.4 受限Boltzmann机模型求解
    2.2 受限Boltzmann机采样算法
        2.2.1 Gibbs采样
        2.2.2 平行退火采样
        2.2.3 重要性采样
    2.3 动量算法
    2.4 RBM正则化方法
        2.4.1 误差平方和稀疏惩罚因子
        2.4.2 对数和正则化
    本章小结
第三章 基于RBM的专家乘积系统的改进算法
    3.1 引言
    3.2 专家乘积系统
        3.2.1 专家乘积系统的学习算法
        3.2.2 RBM学习算法与专家乘积系统
    3.3 改进动量算法
    3.4 图像识别的应用
        3.4.1 MNIST数据库手写体识别
        3.4.2 Extended Yale B数据库人脸识别
        3.4.3 CMU-PIE数据库人脸识别
    3.5 地震数据去噪的应用
        3.5.1 人工合成数据去噪
        3.5.2 真实地震数据去噪
    本章小结
第四章 基于动量方法的RBM两种不同梯度近似算法
    4.1 引言
    4.2 受限Boltzmann机模型的梯度
        4.2.1 RBM第一种梯度近似方法
        4.2.2 RBM第二种梯度近似方法
    4.3 改进的动量算法
    4.4 修正的动量算法
    4.5 改进动量算法的分析及应用
        4.5.1 MNIST数据库手写体识别
        4.5.2 Extended Yale B数据库人脸识别
        4.5.3 CMU-PIE数据库人脸识别
    4.6 修正动量算法的分析及应用
        4.6.1 MNIST数据库手写体识别
        4.6.2 Extended Yale B数据库人脸识别
        4.6.3 CMU-PIE数据库人脸识别
    本章小结
第五章 基于权衰减动量RBM的平均对比散度算法
    5.1 引言
    5.2 RBM梯度近似方法
    5.3 改进的ACD算法
        5.3.1 平均对比散度算法
        5.3.2 改进的权衰减动量算法
        5.3.3 修正隐单元偏置
    5.4 图像识别的应用
        5.4.1 MNIST数据库手写体识别
        5.4.2 Extended Yale B数据库人脸识别
        5.4.3 CMU-PIE数据库人脸识别
    5.5 地震数据去噪的应用
        5.5.1 人工合成数据去噪
        5.5.2 真实地震数据去噪
    本章小结
第六章 基于梯度改进和动量结合的Logsum RBM方法
    6.1 引言
    6.2 RBM优化方法
    6.3 改进的Logsum RBM方法
        6.3.1 RBM梯度近似
        6.3.2 Logsum正则化稀疏约束RBM
        6.3.3 修正动量方法
    6.4 图像识别的应用
        6.4.1 MNIST数据库手写体识别
        6.4.2 Extended Yale B数据库人脸识别
        6.4.3 CMU-PIE数据库人脸识别
    本章小结
第七章 总结与展望
    7.1 论文的主要工作总结
    7.2 论文的创新点
    7.3 研究展望
致谢
参考文献


【参考文献】：
期刊论文
[1]基于多隐层Gibbs采样的深度信念网络训练方法[J]. 史科,陆阳,刘广亮,毕翔,王辉.  自动化学报. 2019(05)
[2]基于特征聚类的稀疏自编码快速算法[J]. 付晓,沈远彤,付丽华,杨迪威.  电子学报. 2018(05)
[3]基于深度学习的测井岩性识别方法研究与应用[J]. 安鹏,曹丹平.  地球物理学进展. 2018(03)
[4]基于权值动量的RBM加速学习算法研究[J]. 李飞,高晓光,万开方.  自动化学报. 2017(07)
[5]基于改进并行回火算法的RBM网络训练研究[J]. 李飞,高晓光,万开方.  自动化学报. 2017(05)
[6]基于改进深层网络的人脸识别算法[J]. 李倩玉,蒋建国,齐美彬.  电子学报. 2017(03)
[7]基于Fisher约束和字典对的图像分类[J]. 郭继昌,张帆,王楠.  电子与信息学报. 2017(02)
[8]神经采样[J]. 萧子豪,朱军.  计算机学报. 2017(06)
[9]DLPF:基于异构体系结构的并行深度学习编程框架[J]. 王岳青,窦勇,吕启,李宝峰,李腾.  计算机研究与发展. 2016(06)
[10]基于动态Gibbs采样的RBM训练算法研究[J]. 李飞,高晓光,万开方.  自动化学报. 2016(06)



本文编号：3147521