多隐层前馈神经网络的随机赋权训练算法研究

发布时间：2017-09-24 00:01

  本文关键词：多隐层前馈神经网络的随机赋权训练算法研究

  更多相关文章： 模式分类 深度学习 极速学习机 分类器集成 广义逆

【摘要】：智能软件系统已成为软件工程领域最重要的研发对象之一。无论是学术界还是工业界,都对能使软件智能化的算法产生了浓厚的兴趣。其中,与模式分类有关的算法更是得到了业内的广泛关注,通过对分类算法的研究、优化与创新,使得软件智能化的水平得到了显著的提高。最近几年,人工神经网络在理论上和应用上的突破都引人瞩目,尤其是深层神经网络的优越性正逐渐被人们所认可,国内外很多学者都致力于深层神经网络的研究工作,并提出了大量的优秀算法。深层神经网络模型的种类很多,根据训练算法来分,其中有两类,第一类是基于贪婪算法的逐层预训练的深层神经网络模型;第二种是通过随机赋权方法来构造的深层神经网络模型。本文第一部分的工作主要研究了两类深层神经网络模型中具有代表性的两个模型。其中,基于受限玻尔兹曼机逐层预训练的方法是深度学习的主要方法之一,该方法通过借助物理能量模型来对网络中每一层的参数进行预训练,之后逐层叠加成深度置信网络,通过在最后一层加上softmax层输出网络的分类结果,然后进行网络精调,本文以这个方法为基础,结合广义逆的知识对该方法进行了简化的工作,并进行比较研究;另外,用基于极速学习机的原理来训练得到的深层网络是典型的深层随机赋权网络,该类型的网络以效率著称,并在工业界得到了广泛的应用。本文第二部分的主要工作是对分类器集成方法的研究,并且利用分类器集成的方法将深层神经网络模型进行集成,并将这种方法与深度学习、深度随机赋权网络进行了比较研究。在本文的实验部分,为了使得对比分析结果具有客观性,本文选取了多个不同领域的分类数据集,并且涵盖了数值型和符号型两类数据集,本文通过对深层神经网络、浅层神经网络和本文方法在测试精度、训练时间以及模型的拟合程度等多个方面进行比较研究,得出了一些具有一定参考价值的结论。
【关键词】：模式分类 深度学习 极速学习机 分类器集成 广义逆
【学位授予单位】：河北大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP183
【目录】：

• 摘要5-6
• Abstract6-10
• 第1章 绪论10-15
• 1.1 研究背景和意义10-11
• 1.2 国内外研究现状及分析11-13
• 1.3 主要研究内容13
• 1.4 论文结构13-15
• 第2章 相关知识15-23
• 2.1 神经网络算法15-20
• 2.1.1 神经网络算法概述15-17
• 2.1.2 误差反向传播算法17-19
• 2.1.3 训练算法优化19-20
• 2.2 分类器集成方法20-22
• 2.2.1 分类器集成模型20-21
• 2.2.2 基于模糊积分的集成方法21-22
• 2.3 本章小结22-23
• 第3章 深度学习23-37
• 3.1 深层神经网络23-24
• 3.2 受限玻尔兹曼机24-30
• 3.2.1 Gibbs采样25-26
• 3.2.2 RBM的训练方法26-30
• 3.3 深层置信网络30-32
• 3.4 基于广义逆的改进方法32-35
• 3.5 本章小结35-37
• 第4章 深层随机赋权网络集成方法37-47
• 4.1 极速学习机37-38
• 4.2 多层随机赋权网络38-42
• 4.2.1 自动编码器38-40
• 4.2.2 基于ELM的自动编码器40-41
• 4.2.3 基于ELM-Autoencoder的多层随机赋权神经网络41-42
• 4.3 分类器的集成方法42-46
• 4.3.1 C-ML-RWN算法介绍42-44
• 4.3.2 C-ML-RWN算法实现44-46
• 4.4 本章小结46-47
• 第5章 实验结果及分析47-56
• 5.1 实验数据集47-49
• 5.2 实验设计与实验结果49-53
• 5.3 实验分析53-55
• 5.4 本章小结55-56
• 第6章 总结与展望56-57
• 6.1 本文总结56
• 6.2 工作展望56-57
• 参考文献57-61
• 致谢61-62
• 攻读学位期间取得的科研成果62

，

本文编号：908189