深度学习(Deep learning,DL)本质上是指一类对具有深层结构的人工神经网络进行训练的方法,是一种模拟脑神经系统对感知信号进行分层处理的深层结构。深度信念网络(Deep Belief Network,DBN)是为了简化逻辑斯蒂信念网络的推理困难而提出的一种深度模型,也是目前DL最主要的实现方式之一。DBN由若干个受限玻尔兹曼机(Restricted Boltzmann Machine,RBM)顺序堆叠来构造,其学习过程分为两个阶段,首先对RBM进行逐层无监督预训练,再用反向传播算法对整个网络进行有监督的调优。DBN的这种分阶段训练方法使其在学习深层结构上取得了一定的成功,并在图像处理、声音辨识、自然语义理解及回归和预测等任务中得到了关注和研究。然而,目前的DBN在处理实际复杂数据时,无监督预训练和反向传播(Back Propagation,BP)调优算法均显现出了不足,主要表现在预训练耗时长和调优精度低;另一方面,目前的DBN多数是通过足够的经验和充足的数据确定其结构,且在训练过程中结构将不再调整。在实际过程中,DBN只是通过改变权值参数来适应任务的变化,但如何构造一种DBN使其结构在动态调整的同时不断调整权值参数,是DBN发展的趋势,也是一个开放且尚未解决的问题。研究DBN结构优化设计方法,是为了克服DBN预训练耗时长和调优精度低两个缺陷的同时获得DBN结构动态调整的有效方法。根据设计要求可知,DBN动态结构的训练分为两个阶段且结构在训练过程中实时调整,因此现有的固定结构学习算法难以适应其训练要求。为了解决DBN结构优化设计过程中的问题,本文在深入分析现有DBN研究成果的基础之上,设计了预训练阶段的自适应学习率;建立了基于偏最小二乘回归(Partial Least Square Regression,PLSR)的新型DBN有监督调优模型和稀疏表述方法;研究了包括增量式结构和增长—删减机制在内的一系列结构自调整策略;获得了结构动态调整过程中DBN权值参数的学习算法,并且对结构调整过程中的算法收敛性进行了深入的分析。同时,探索性地将DBN与强化学习(Reinforcement learning,DL)、生成式对抗网络(Generative adversarial network,GAN)以及模型预测控制(Model predictive control,MPC)结合起来,建立了高效的学习和优化控制模型。论文主要工作和创新点如下:(1)无监督学习改进型研究针对DBN无监督特征学习耗时长的问题,设计了自适应学习率算法,旨在提高无监督预训练的学习速度和特征提取效率。由于无监督预训练过程中特征提取与原始数据重构交替进行是一个复杂度较高的计算过程,现有基于固定学习率的对比散度(Contrastive Divergence,CD)参数调整算法削弱了无监督预训练的速度。文中提出一种学习率自适应调整机制,根据CD算法中参数每两次迭代方向的异同来动态降低或增大学习率,不仅能够提高学习速度,还能避开局部最优问题。实验结果证明了以上改进型算法在提高学习速度和特征提取效率方面上的有效性。(2)深度信念网络有监督学习改进型研究针对网络输出鲁棒性能差和传统有监督学习精度低问题,文中提出一种基于PLSR逐层调优的自适应稀疏表述DBN(AS-PLSR-DBN),旨在提高DBN的鲁棒性和调优精度。首先,设计自适应学习率来加速RBM的训练过程,引入两个正则化项来实现稀疏表述(AS-RBM)。其次,以最后一个隐含层提取到的特征为自变量,以输出层的期望输出为因变量,建立PLSR模型,并以同样的方法自上而下每两层建立一个PLSR模型。第三,给出了收敛性分析。最后利用AS-PLSRDBN对Mackey-Glass时间序列预测、二维函数逼近以及复杂系统识别,结果证明了AS-PLSR-DBN具有较高的学习精度和速度,同时具有较强的鲁棒性。(3)自组织深度信念网络尽管DBN已经取得了诸多应用上的成功,但目前其结构大多数是利用人工经验确定且在训练过程不再调整。这种类似超参数赋值的固定结构无法满足数据多样性的任务要求,也无法实现DBN的高效学习。针对DBN的结构设计问题,提出一种基于隐含层神经元激活强度和误差下降率的结构增长—删减设计方法。通过分析隐含层神经元在学习过程中的激活强度,删除激活强度小的神经元,将激活强度大的神经元进行分裂。同时,将网络输出的误差下降率作为隐含层增减的标准,误差下降率如若递增则增加隐含层,误差下降率首次出现递减则减少隐含层。通过对非线性系统建模、污水处理过程出水总磷浓度预测以及大气污染物浓度预测证明了该方法的有效性。(4)基于迁移学习的增量式深度信念网络针对自组织结构中反复权值初始化导致的训练耗时问题,提出一种基于迁移学习策略的结构增量式DBN设计方法。首先,初始化一个结构简单的DBN并对其进行学习预训练,预训练结束后固定学习到的权值参数(知识源域)。其次,在初始化DBN的基础上定量增加神经元和隐含层(目标域),并设计一种有效的迁移学习策略将知识源域中的知识转移到目标域中,从而实现对目标域快速有效的预训练并不断增加结构规模。最后,根据输出性能的误差指标设计一个结构增长的停止准则,结构一旦停止增长将固定不变,并进入有监督训练阶段。利用增量式DBN对CATS缺失时间序列预测和污水处理过程出水总磷浓度预测,结果证明了基于迁移学习的增量式深度信念网络具有较好的结构自调整能力和复杂非线性系统逼近能力。(5)深度强化学习网络通过分析可知,实现知识增殖需要强有力的特征感知方法,而实现关键特征识别则需要快速有效的决策方法。深度学习能够利用其强大的无监督特征提取能力快速的获取数据的先验知识,强化学习则能以试错的机制与环境进行交互,通过最大化累积奖赏的方式来学习到最优决策方法。针对手写数字标准对象MNIST数据库的识别精度低的问题,提出一种将深度学习与Q学习算法相结合的新型判别网络(Q-ADBN)。首先,利用自适应深度自编码器(ADAE)对原始信号进行抽象特征提取,Q学习算法将ADAE对原始信号的编码特征作为当前状态。然后,对当前状态进行分类识别得到一个奖励值,并将奖励值返回给Q学习算法以便进行迭代更新。对MNIST数据库的实验结果证明了Q-ADBN具有快速的学习能力和较高的识别精度。(6)基于能量函数的生成式对抗性深度信念网络生成式对抗网络是目前人工智能领域的一个研究热点,引起了众多学者的关注。针对现有生成式对抗网络生成模型效率低下和判别模型的梯度消失问题,提出一种基于重构误差的能量函数意义下的生成式对抗网络模型(RE-GADBN)。首先,将自适应DBN作为生成模型,来快速学习给定样本数据的概率分布并进一步生成相似的样本数据。其次,将自适应深度自编码器的重构误差作为一个表征判别模型性能的能量函数,能量越小表示生成式对抗网络学习优化过程越趋近纳什均衡的平衡点,否则反之。在MNIST和CIFAR-10两个标准数据集上的实验结果表明,相较于现有的类似模型,RE-GADBN在学习速度和数据生成能力两方面均有较大提高。(7)基于深度信念网络的模型预测控制方法在研究一系列DBN结构优化设计方法的同时,注意到变结构DBN具有较强的复杂系统建模能力。模型预测控制是一种适用于过程控制的滚动优化控制方法,其核心是建立一个能够以较高精度逼近被控对象的预测模型。基于此,探索性的将变结构DBN作为预测模型,研究变结构DBN与控制策略滚动优化的闭环系统动力学特性。首先,将变结构DBN作为被控系统的预测模型,学习并预测被控系统的动力学特性。其次,根据预测模型输出与被控系统参考输出之间的误差以及被控系统控制输入的变化量,建立二次优化模型来求解控制律在每一时刻的最优值。对非线性系统的跟踪控制实验结果初步证明了所提方法的有效性。
【学位单位】：北京工业大学
【学位级别】：博士
【学位年份】：2019
【中图分类】：TP18
【部分图文】：
所以该数据库被视为一种理想的、标准的测试新方法的经典对象。取 5000 个样本用于训练，1000 个样本用于测试。每张样本图像为 0-9 手写体的阿拉伯数字，像素为 28 28, 故可视层神经元个数设定为 784 个，每个神经元接收每张图像中的一个像素点。5000 个样本分为 50 批次进行训练, 每批次包含 100 个样本，每个 RBM 迭代 50 次，故每层神经元个数默认为 100，学习率增大和减小系数的根据经验取值为：A=1.5 和 B=0.5，网络结构设置为 784-100-100-784。实验中根据 RBM 的分布, 进行一次 Gibbs 采样后所获样本与原数据的差异称为重构误差，重构误差变化曲线能直观的反映出无监督学习的效果和收敛速度，重构误差可表示为 0 1 1 1 s dij iji jv vREs d(2-33)其中，s为样本个数, d 为输入维数， 1 ijv 为可视层神经元的重构状态， 0 ijv 为真实值，仿真结果如图 2-5、2-6、2-7 和 2-8 所示。
所以该数据库被视为一种理想的、标准的测试新方法的经典对象。取 5000 个样本用于训练，1000 个样本用于测试。每张样本图像为 0-9 手写体的阿拉伯数字，像素为 28 28, 故可视层神经元个数设定为 784 个，每个神经元接收每张图像中的一个像素点。5000 个样本分为 50 批次进行训练, 每批次包含 100 个样本，每个 RBM 迭代 50 次，故每层神经元个数默认为 100，学习率增大和减小系数的根据经验取值为：A=1.5 和 B=0.5，网络结构设置为 784-100-100-784。实验中根据 RBM 的分布, 进行一次 Gibbs 采样后所获样本与原数据的差异称为重构误差，重构误差变化曲线能直观的反映出无监督学习的效果和收敛速度，重构误差可表示为 0 1 1 1 s dij iji jv vREs d(2-33)其中，s为样本个数, d 为输入维数， 1 ijv 为可视层神经元的重构状态， 0 ijv 为真实值，仿真结果如图 2-5、2-6、2-7 和 2-8 所示。
图 2-7 错误识别原图像 图 2-8 错误识别图像Fig. 2-7 Original images with classification mistakes Fig. 2-8 Images classification mistakes由图 2-5 和 2-6 可以看出, 重构误差一开始呈现急速下降趋势, 当迭代到第40 次时基本达到稳定 (收敛), 由此可以看出自适应学习率提高了算法的收敛速度；底层 RBM 的重构误差比顶层 RBM 的重构误差要大，这主要是因为在顺序训练多个 RBM 的过程中，越往顶层学习到的特征越抽象，是一种类似稀疏表述的误差低值递减特性[69]。图 2-7 和 2-8 显示, 对 1000 个样本进行测试后产生了68 处错误。为了更好地展现 ALRDBN 的快速收敛性以及更高的识别精度，在相同的实验环境和设置下将 ALRDBN 与其他算法相比较，结果如表 2-1 所示。表 2-1 MNIST 手写数字实验结果对比Table 2-1 Result comparison of MNIST experiment方法 隐含层数 每层节点数 正确识别率93.1%运算时间20.0sALRDBN2100
【相似文献】
相关期刊论文 前10条
1 刘明明;李震霄;郑丽丽;薛雪;;一种新的鲁棒无监督显著性目标检测方法[J];中国科技论文;2019年12期
2 殷柏涛;一种改进的无监督竞争学习算法[J];声学与电子工程;1995年02期
3 徐峻岭;周毓明;陈林;徐宝文;;基于互信息的无监督特征选择[J];计算机研究与发展;2012年02期
4 杨斌;刘卫国;;一种基于聚类的无监督异常检测方法[J];计算机工程与应用;2008年01期
5 陶美平;马力;黄文静;吴雨隆;;基于无监督特征学习的手势识别方法[J];微电子学与计算机;2016年01期
6 梁春林;彭凌西;;基于免疫网络的无监督式分类算法[J];山东大学学报(工学版);2010年05期
7 史殿习;李勇谋;丁博;;无监督特征学习的人体活动识别[J];国防科技大学学报;2015年05期
8 陈雁;万寿红;岳丽华;龚育昌;;一种无需初始化的遥感图像无监督分割方法[J];小型微型计算机系统;2010年10期
9 王瑞琴;孔繁胜;;无监督词义消歧研究[J];软件学报;2009年08期
10 吴姗;倪志伟;罗贺;郑盈盈;;一种基于密度的无监督联系发现方法[J];中国管理科学;2008年S1期
相关博士学位论文 前10条
1 王功明;深度信念网络结构优化设计方法与应用[D];北京工业大学;2019年
2 陈虹洁;面向低资源场景的语音表示学习及其应用[D];西北工业大学;2018年
3 张志锐;面向神经机器翻译的数据增强方法及应用[D];中国科学技术大学;2019年
4 刘彦北;高维数据无监督特征选择算法研究[D];天津大学;2017年
5 王寅同;无监督与半监督降维相关问题研究[D];南京航空航天大学;2016年
6 魏松;人机对话系统中若干关键问题研究[D];北京邮电大学;2007年
7 周楠;基于稀疏和信息论的无监督特征学习算法研究[D];电子科技大学;2017年
8 杨波;图驱动的无监督降维和判别子空间学习研究及其应用[D];南京航空航天大学;2010年
9 宋凤义;非控制条件下的人脸分析与验证[D];南京航空航天大学;2014年
10 冯小东;基于稀疏表示的高维数据无监督挖掘研究[D];北京科技大学;2015年
相关硕士学位论文 前10条
1 梁润宇;基于主题情感混合模型的无监督微博情感分类[D];天津工业大学;2019年
2 万家乐;混合稀疏正则化的多视角无监督特征选择[D];天津大学;2018年
3 桂存斌;基于最小化最大平均差异损失的无监督领域自适应[D];北京邮电大学;2019年
4 田刚鹏;多模态下基于迁移学习的无监督软测量建模研究与应用[D];太原理工大学;2019年
5 赵季娟;基于极限学习机的无监督领域适应学习[D];中国矿业大学;2019年
6 黄迪;基于深度学习的无监督型图像语义分析[D];杭州电子科技大学;2018年
7 张建红;基于无监督分割和ELM的织物缺陷检测和分类方法研究[D];昆明理工大学;2018年
8 鲍国强;无监督TSK模糊系统及其应用研究[D];江南大学;2018年
9 杨青相;基于卷积神经网络和双目视差的无监督深度预测[D];北京工业大学;2018年
10 刘鑫;无监督异常检测方法研究及其应用[D];电子科技大学;2018年
本文编号：
2872277
