卷积神经网络中卷积核权重初始化方法研究及应用
发布时间：2021-11-09 19:06
卷积核是卷积神经网络中提取图像特征的主要组成部分,它通过对样本的局部区域进行卷积计算检测出相邻像素之间的相似性,以此来达到识别图像内容的目的。因此,卷积核是影响卷积神经网络识别准度的重要因素,同时也是使网络能否快速收敛的原因之一。如何初始化卷积核成为了提高卷积神经网络模型性能的关键问题。为此本文进行了如下研究:（1）分析了卷积神经网络的结构,图像卷积的过程以及卷积核提取特征的过程,研究了目前常用的3种初始化方法:随机初始化方法、Xavier初始化方法和主成分分析方法（Principle Component Analysis,PCA）,针对这3种初始化方法存在的问题,提出了核主成分分析（Kernel Principle Component Analysis,KPCA）初始化卷积核权重值的方法,KPCA能够有效地提取图像中的非线性特征,使卷积核的权重值能够包含样本中更多的非线性特征,从而能更加充分地初始化卷积核。（2）为了验证本文提出的KPCA初始化方法,选取了MNIST,FashionMNIST和Cifar10进行训练测试。首先在原始数据集上进行测试,之后对原始数据集进行平移、旋转、弹性...
【文章来源】：宁夏大学宁夏回族自治区 211工程院校
【文章页数】：61 页
【学位级别】：硕士
【部分图文】：
神经网络模型
期望结果一致。??隐含层??图２－２神经网络模型??２．１．２卷积神经网络??虽然人工神经网络可以解决很多复杂的非线性问题，但是这种多层感知机的结构仍然存在??着一些问题。第一，在这种结构中每层神经网络中的神经元均采用全连接的方式，即每个神经??元都与卜一层神经兀相连接，当网络深度较抹、输入数据量相对庞大时就会导致神经元参数较??多，消耗大量内存，网络难度增加计算量过大等一系列问题出现；第二，传统的ＡＮＮ并没有??考虑输入图像样本的像素值之间的相关性问题，这样导致在完成识别和分类任务时性能较差，??出现准确度不高等问题。??针对上述问题，ＣＮＮ可以良好的解决这些问题。早期的ＣＮＮ结构是由Ｈｕｂｅｉ和Ｗｉｅｓｅｌ发??现动物脑皮层中存在的局部敏感与方向选择神经元后，通过对这种特殊神经结构的利用使ＡＮＮ??中神经元之间的全连接形式变为局部连接的形式
、?——＼?｜—Ｑ￣ｃ?，??图２－４卷积神经网络简化图??ＣＮＮ相对传统的神经网络主要增加了两层，分别为卷积层（Ｃｏｎｖｏｌｕｔｉｏｎ?Ｌａｙｅｒ）字母Ｃ表示也被称为Ｃ层；池化层，也叫下采样层（Ｐｏｏｌｉｎｇ?Ｌａｙｅｒ）常用大写字母ＳＳ层。在图２－４中先在输入层输入图像样本集送至卷积层（Ｃ〗，表示第一层卷积层），层中的每个卷积核（也被称为滤波器）分别与图像进行卷积运算获取图像集的特征信图形式来表达，将由Ｃ１输出的特征图作为池化层（Ｓ１，表示第一层池化层）的输入特征图进行降维操作减少内存的消耗并降低计算量；随后将降维后的特征图也就是Ｓ作为下一卷积层Ｃ２的输入再次与Ｃ２层中的卷积核进行卷积运算获取Ｃ２层的特征图入Ｓ２进行降维操作获得新特征图；反复重复上述操作直到通过所有的Ｃ层与Ｓ层之来就和传统的ＡＮＮ?—样送入全连接层和分类器中完成识别与分类任务，就表示为ＮＮ。??池化层中有两种常见的池化方式，分别为：最大池化，平均池化。最大池化（Ｍａｘ是指在池化窗口中选择最大的值作为输出，其他值均舍去，池化过程如图２－５所示；（Ｍｅａｎ?Ｐｏｏｌｉｎｇ）是指在池化窗口中计算窗口所采集数据的平均值作为池化层的输出程如图２－６所示［３０］。??
【参考文献】：
期刊论文
[1]用于图像分类的卷积神经网络中激活函数的设计[J]. 王红霞,周家奇,辜承昊,林泓. 浙江大学学报(工学版). 2019(07)
[2]卷积神经网络中激活函数的一种改进[J]. 刘小文,郭大波,李聪. 测试技术学报. 2019(02)
[3]基于KPCA初始化卷积神经网络的方法[J]. 蔡楠,李萍. 计算机技术与发展. 2019(07)
[4]基于TensorFlow手写数字识别模型设计与实现[J]. 邢萌. 电子技术与软件工程. 2019(02)
[5]基于KPCA的图像压缩方法[J]. 蔡楠,李萍. 无线电工程. 2018(12)
[6]基于PCA初始化卷积核的CNN手写数字识别算法[J]. 马义超,赵运基,张新良. 计算机工程与应用. 2019(13)
[7]基于集成学习改进的卷积神经网络的手写字符识别[J]. 黎育权. 电子技术与软件工程. 2018(09)
[8]智能配电房危险情况的图像特征识别方法[J]. 朱正国,何斌斌,薛荣,邓琨,魏恩伟. 电源技术. 2018(04)
[9]基于粒子群优化核主元分析的轴承状态识别[J]. 谢锋云,陈红年,谢三毛,江炜文,刘博文,李雪萌. 测控技术. 2018(03)
[10]卷积神经网络及其研究进展[J]. 翟俊海,张素芳,郝璞. 河北大学学报(自然科学版). 2017(06)
硕士论文
[1]基于PCA的人脸识别系统的设计与研究[D]. 苑军科.河北科技大学 2019
[2]一种改进的深度卷积神经网络及其权值初始化方法研究[D]. 刘晴.河北大学 2018
[3]基于数据（序列模式）挖掘的医院物资使用量预测模型研究[D]. 柴龙凯.青岛科技大学 2018
[4]基于深度学习的图像语义分割方法研究与实现[D]. 张学鹏.电子科技大学 2018
[5]卷积神经网络算法及应用研究[D]. 赵井飞.沈阳航空航天大学 2018
[6]基于深度卷积神经网络的实体关系抽取[D]. 王林玉.太原理工大学 2017
[7]基于深度学习的对话系统主题分配技术研究[D]. 裘实.哈尔滨工业大学 2017
[8]遥感影像分类的并行化及智能化研究[D]. 范迎迎.新疆大学 2017
[9]图像卷积算法的隐私保护和应用研究[D]. 袁鹏.西安电子科技大学 2017
[10]卷积神经网络权值初始化方法研究[D]. 沈成恺.北京工业大学 2017
本文编号：3485905
【文章来源】：宁夏大学宁夏回族自治区 211工程院校
【文章页数】：61 页
【学位级别】：硕士
【部分图文】：
神经网络模型
期望结果一致。??隐含层??图２－２神经网络模型??２．１．２卷积神经网络??虽然人工神经网络可以解决很多复杂的非线性问题，但是这种多层感知机的结构仍然存在??着一些问题。第一，在这种结构中每层神经网络中的神经元均采用全连接的方式，即每个神经??元都与卜一层神经兀相连接，当网络深度较抹、输入数据量相对庞大时就会导致神经元参数较??多，消耗大量内存，网络难度增加计算量过大等一系列问题出现；第二，传统的ＡＮＮ并没有??考虑输入图像样本的像素值之间的相关性问题，这样导致在完成识别和分类任务时性能较差，??出现准确度不高等问题。??针对上述问题，ＣＮＮ可以良好的解决这些问题。早期的ＣＮＮ结构是由Ｈｕｂｅｉ和Ｗｉｅｓｅｌ发??现动物脑皮层中存在的局部敏感与方向选择神经元后，通过对这种特殊神经结构的利用使ＡＮＮ??中神经元之间的全连接形式变为局部连接的形式
、?——＼?｜—Ｑ￣ｃ?，??图２－４卷积神经网络简化图??ＣＮＮ相对传统的神经网络主要增加了两层，分别为卷积层（Ｃｏｎｖｏｌｕｔｉｏｎ?Ｌａｙｅｒ）字母Ｃ表示也被称为Ｃ层；池化层，也叫下采样层（Ｐｏｏｌｉｎｇ?Ｌａｙｅｒ）常用大写字母ＳＳ层。在图２－４中先在输入层输入图像样本集送至卷积层（Ｃ〗，表示第一层卷积层），层中的每个卷积核（也被称为滤波器）分别与图像进行卷积运算获取图像集的特征信图形式来表达，将由Ｃ１输出的特征图作为池化层（Ｓ１，表示第一层池化层）的输入特征图进行降维操作减少内存的消耗并降低计算量；随后将降维后的特征图也就是Ｓ作为下一卷积层Ｃ２的输入再次与Ｃ２层中的卷积核进行卷积运算获取Ｃ２层的特征图入Ｓ２进行降维操作获得新特征图；反复重复上述操作直到通过所有的Ｃ层与Ｓ层之来就和传统的ＡＮＮ?—样送入全连接层和分类器中完成识别与分类任务，就表示为ＮＮ。??池化层中有两种常见的池化方式，分别为：最大池化，平均池化。最大池化（Ｍａｘ是指在池化窗口中选择最大的值作为输出，其他值均舍去，池化过程如图２－５所示；（Ｍｅａｎ?Ｐｏｏｌｉｎｇ）是指在池化窗口中计算窗口所采集数据的平均值作为池化层的输出程如图２－６所示［３０］。??
【参考文献】：
期刊论文
[1]用于图像分类的卷积神经网络中激活函数的设计[J]. 王红霞,周家奇,辜承昊,林泓. 浙江大学学报(工学版). 2019(07)
[2]卷积神经网络中激活函数的一种改进[J]. 刘小文,郭大波,李聪. 测试技术学报. 2019(02)
[3]基于KPCA初始化卷积神经网络的方法[J]. 蔡楠,李萍. 计算机技术与发展. 2019(07)
[4]基于TensorFlow手写数字识别模型设计与实现[J]. 邢萌. 电子技术与软件工程. 2019(02)
[5]基于KPCA的图像压缩方法[J]. 蔡楠,李萍. 无线电工程. 2018(12)
[6]基于PCA初始化卷积核的CNN手写数字识别算法[J]. 马义超,赵运基,张新良. 计算机工程与应用. 2019(13)
[7]基于集成学习改进的卷积神经网络的手写字符识别[J]. 黎育权. 电子技术与软件工程. 2018(09)
[8]智能配电房危险情况的图像特征识别方法[J]. 朱正国,何斌斌,薛荣,邓琨,魏恩伟. 电源技术. 2018(04)
[9]基于粒子群优化核主元分析的轴承状态识别[J]. 谢锋云,陈红年,谢三毛,江炜文,刘博文,李雪萌. 测控技术. 2018(03)
[10]卷积神经网络及其研究进展[J]. 翟俊海,张素芳,郝璞. 河北大学学报(自然科学版). 2017(06)
硕士论文
[1]基于PCA的人脸识别系统的设计与研究[D]. 苑军科.河北科技大学 2019
[2]一种改进的深度卷积神经网络及其权值初始化方法研究[D]. 刘晴.河北大学 2018
[3]基于数据（序列模式）挖掘的医院物资使用量预测模型研究[D]. 柴龙凯.青岛科技大学 2018
[4]基于深度学习的图像语义分割方法研究与实现[D]. 张学鹏.电子科技大学 2018
[5]卷积神经网络算法及应用研究[D]. 赵井飞.沈阳航空航天大学 2018
[6]基于深度卷积神经网络的实体关系抽取[D]. 王林玉.太原理工大学 2017
[7]基于深度学习的对话系统主题分配技术研究[D]. 裘实.哈尔滨工业大学 2017
[8]遥感影像分类的并行化及智能化研究[D]. 范迎迎.新疆大学 2017
[9]图像卷积算法的隐私保护和应用研究[D]. 袁鹏.西安电子科技大学 2017
[10]卷积神经网络权值初始化方法研究[D]. 沈成恺.北京工业大学 2017
本文编号：3485905
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3485905.html
