基于深度神经网络的特征提取算法及其应用研究
发布时间：2021-09-28 14:46
目前,深度神经网络已经成为机器学习领域的一个研究热点,其本质上是一个特征提取的过程,最大的优势在于允许由多个隐含层组成的计算模型逐层抽象自动对数据进行特征提取,学习具有代表性和判别性的特征。另外,深度神经网络能够使用较少的参数表示更复杂的函数,对于新的应用可以从训练数据中快速学习得到有效的特征表达,极大地改进了语音识别、视觉对象识别、目标检测等许多其它领域的技术。本文针对基于深度神经网络的特征提取算法进行了分析和研究,论文的主要内容有以下三个方面:（1）针对深度信念网络（DBN）在微调过程中易受训练参数影响的问题,提出一种基于批量正则化的DBN（BNDBN）方法。该方法首先利用DBN进行无监督学习以获得原始数据的高层次表达;然后通过批量正则化算法中尺度变换和平移变换参数对网络中间层的输出特征每一维进行批量正则化处理;并将处理后的特征输入到非线性变换激活层中;最后使用小批量随机梯度下降法对仿射变换参数以及原始网络的参数进行分批训练学习,可以进一步地提升网络的训练效率。BNDBN方法减少了梯度对参数规模的依赖性,通过变换重构可以恢复原始网络所学习的特征分布,有效解决了因网络参数变化而造成的...
【文章来源】：江南大学江苏省 211工程院校 教育部直属院校
【文章页数】：81 页
【学位级别】：硕士
【部分图文】：
深度学习原理
第二章 深度神经网络及其相关模型时代，模式识别、图像处理方向开始转向结合深度学习（Deep Learn相关研究，而深度神经网络是深度学习技术的主要模型。基于深度神算法主要是通过模型仿照生物神经系统机制提取信息特征，筛选数据度神经网络在提取图像、声音、文字等信息的特征时，具有优异的重介绍深度神经网络的基本思想及其相关模型的网络结构。的提取式识别中，特征主要用来描述和表示所研究的事物。算法从数据中提响模型的表现能力，如何有效提取符合数据分布结构的特征一直是该题。传统的特征提取方法大多是根据不同的任务和数据设计选择特征SIFT[53]、局部二进制模式[54]等。然而设计一个好的特征并不简单，尤况下，不仅费时费力，而且要求研究者具备启发式专业知识，很大程气，否则有可能提取到缺乏泛化性的特征。随着认知生物学和神经学一种可以自动学习特征描述的方法成为学者们研究的重点。
图 3-3 MNIST 数据库 10 类部分图像示例，初始学习率的选择比较慎重，过大或者过小经过大量实验来选择合适的学习率，为了测试固定的情况下，改变学习率在区间[0.0005,0 Dropout-DBN、DBN 和 ANN 算法进行实验.10.15.20.25.30.35BNDBNDropoutDDBNANN
【参考文献】：
期刊论文
[1]基于随机Dropout深度信念网络的移动用户行为识别方法[J]. 王忠民,王希,宋辉. 计算机应用研究. 2017(12)
[2]面向自然语言处理的深度学习研究[J]. 奚雪峰,周国栋. 自动化学报. 2016(10)
[3]深度学习:多层神经网络的复兴与变革[J]. 山世光,阚美娜,刘昕,刘梦怡,邬书哲. 科技导报. 2016(14)
[4]深度学习研究进展[J]. 刘建伟,刘媛,罗雄麟. 计算机应用研究. 2014(07)
[5]深度学习研究综述[J]. 孙志军,薛磊,许阳明,王正. 计算机应用研究. 2012(08)
博士论文
[1]基于深度学习的跨模态检索研究[D]. 冯方向.北京邮电大学 2015
硕士论文
[1]基于深度学习的人脸识别算法研究[D]. 王飞.兰州交通大学 2017
[2]基于深度学习的图像分类算法研究[D]. 房雪键.辽宁大学 2016
[3]基于受限玻尔兹曼机的深度学习模型及其应用[D]. 张艳霞.电子科技大学 2016
[4]基于自动编码器的半监督表示学习与分类学习研究[D]. 吴海燕.重庆大学 2015
本文编号：3412107
【文章来源】：江南大学江苏省 211工程院校 教育部直属院校
【文章页数】：81 页
【学位级别】：硕士
【部分图文】：
深度学习原理
第二章 深度神经网络及其相关模型时代，模式识别、图像处理方向开始转向结合深度学习（Deep Learn相关研究，而深度神经网络是深度学习技术的主要模型。基于深度神算法主要是通过模型仿照生物神经系统机制提取信息特征，筛选数据度神经网络在提取图像、声音、文字等信息的特征时，具有优异的重介绍深度神经网络的基本思想及其相关模型的网络结构。的提取式识别中，特征主要用来描述和表示所研究的事物。算法从数据中提响模型的表现能力，如何有效提取符合数据分布结构的特征一直是该题。传统的特征提取方法大多是根据不同的任务和数据设计选择特征SIFT[53]、局部二进制模式[54]等。然而设计一个好的特征并不简单，尤况下，不仅费时费力，而且要求研究者具备启发式专业知识，很大程气，否则有可能提取到缺乏泛化性的特征。随着认知生物学和神经学一种可以自动学习特征描述的方法成为学者们研究的重点。
图 3-3 MNIST 数据库 10 类部分图像示例，初始学习率的选择比较慎重，过大或者过小经过大量实验来选择合适的学习率，为了测试固定的情况下，改变学习率在区间[0.0005,0 Dropout-DBN、DBN 和 ANN 算法进行实验.10.15.20.25.30.35BNDBNDropoutDDBNANN
【参考文献】：
期刊论文
[1]基于随机Dropout深度信念网络的移动用户行为识别方法[J]. 王忠民,王希,宋辉. 计算机应用研究. 2017(12)
[2]面向自然语言处理的深度学习研究[J]. 奚雪峰,周国栋. 自动化学报. 2016(10)
[3]深度学习:多层神经网络的复兴与变革[J]. 山世光,阚美娜,刘昕,刘梦怡,邬书哲. 科技导报. 2016(14)
[4]深度学习研究进展[J]. 刘建伟,刘媛,罗雄麟. 计算机应用研究. 2014(07)
[5]深度学习研究综述[J]. 孙志军,薛磊,许阳明,王正. 计算机应用研究. 2012(08)
博士论文
[1]基于深度学习的跨模态检索研究[D]. 冯方向.北京邮电大学 2015
硕士论文
[1]基于深度学习的人脸识别算法研究[D]. 王飞.兰州交通大学 2017
[2]基于深度学习的图像分类算法研究[D]. 房雪键.辽宁大学 2016
[3]基于受限玻尔兹曼机的深度学习模型及其应用[D]. 张艳霞.电子科技大学 2016
[4]基于自动编码器的半监督表示学习与分类学习研究[D]. 吴海燕.重庆大学 2015
本文编号：3412107
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3412107.html
