基于进化优化卷积神经网络的图像识别方法研究

发布时间：2021-09-17 05:47

　　卷积神经网络（Convolutional Neural Network,CNN）是深度学习领域重要的模型之一,近些年来被广泛应用在图像视频处理等场景中。在图像识别任务中,CNN对图像特征的不变性和良好的特征提取能力,使其不需要经过繁琐的预处理就能取得较好的识别效果。而模型识别精度主要是由其结构和参数的共同作用,因此对卷积神经网络结构和参数优化方法的研究具有重要的意义。本文对卷积神经网络的基本原理结构、还存在的问题以及国内外改进方法和成果进行了分析与总结。一方面,典型的CNN在卷积层输入与输出特征通道之间存在很多冗余的连接,不仅不利于卷积层的特征提取,还会增加模型复杂度。而现有的改进方法需要根据经验设计,并不具有普适性;另一方面,反向传播算法由于诸多超参数需要设置,导致模型参数训练不彻底。因此开展了以下工作:1.提出了一种基于自适应遗传算法优化CNN特征通道连接结构的方法。首先预训练CNN并保存预训练参数,然后使用自适应遗传算法对预训练CNN卷积层的特征通道连接结构进行优化,最后使用反向传播算法微调最优连接结构的CNN参数,使参数适应新的连接结构。将优化后的CNN用于Fashion-MN... 

【文章来源】：重庆邮电大学重庆市

【文章页数】：69 页

【学位级别】：硕士

【部分图文】：

卷积计00111卷积核5×5卷积运算

重庆邮电大学硕士学位论文第2章卷积神经网络13且梯度为0，在参数更新时会造成对应的权重无法更新，导致神经元出现“坏死”的现象。由于ReLU函数的输出均值大于0，会出现偏移的现象，而神经元“坏死”和偏移现象会共同影响网络的收敛性。(2.5)图2.3Sigmoid&Tanh&ReLU激活函数图像2.其他改进的激活函数(Softplus&Leaky-ReLU)除了以上最常用的非线性激活函数，近些年还针对常用激活函数存在的问题进行了一些改进，这里介绍几种改进的非线性激活函数。Softplus函数是一种和ReLU函数类似的激活函数[48]，从函数式如式2.6来看，Softplus是Sigmoid函数的原函数，从图像上来看，Softplus是ReLU函数的一种平滑方式，神经学科研究人员认为ReLU函数和Softplus函数是最接近生物神经元激活方式的函数。(2.6)Leaky-ReLU函数是在ReLU函数的基础上进行改进的[49]，如式2.7所示。Leaky-ReLU在负半轴将自变量乘以一个取值为(0，1)的系数，使x<0时具有一个较小的非零斜率，从而解决神经网络在训练时会出现“神经元死亡”的问题。f(x)=max(0,x)f(x)=log(1+ex)α

重庆邮电大学硕士学位论文第2章卷积神经网络14(2.7)图2.4Softplus&Leaky-ReLU激活函数图像除了以上提到的一些有代表性的激活函数外，近些年还出现了各种各样的改进型激活函数[50-52]，而随着深度神经网络研究的不断深入，激活函数的研究也仍然在进行着。在实际应用中，需要根据应用场景的不同来选择合适的非线性激活函数。2.2.3常用的池化方式池化层的主要作用是降低特征图分辨率，池化层能有效减少模型参数，增强模型的鲁棒性和避免模型过拟合。更重要的是池化层能实现旋转，平移和缩放的不变性。下面将介绍几种常见的池化方式。1.Mean-pooling方式平均池化方式是计算采样邻域内特征点的均值。在特征提取的过程中由于邻域大小受限制，会造成估计值方差增大的误差，而平均池化能够减小这种误差，从而使图像的背景信息得到较好的保留。在反向传播时，则是将采样点中的值平均分配到采样邻域的每个特征点中。2.Max-pooling方式f(x)=xx≥0αxx<0

【参考文献】：
期刊论文
[1]大数据背景下机器学习研究[J]. 胡永祥.  信息与电脑(理论版). 2019(24)
[2]基于深度学习的图像分类研究综述[J]. 苏赋,吕沁,罗仁泽.  电信科学. 2019(11)
[3]关于深度学习的综述与讨论[J]. 胡越,罗东阳,花奎,路海明,张学工.  智能系统学报. 2019(01)
[4]基于人工智能技术的大数据分析方法研究进展[J]. 王万良,张兆娟,高楠,赵燕伟.  计算机集成制造系统. 2019(03)
[5]大数据下的机器学习算法综述[J]. 何清,李宁,罗文娟,史忠植.  模式识别与人工智能. 2014(04)
[6]差分进化算法的参数研究[J]. 高岳林,刘军民.  黑龙江大学自然科学学报. 2009(01)



本文编号：3398092