基于卷积神经网络的参数选择及可视化研究

发布时间：2021-07-12 20:49

　　随着大数据时代的到来,卷积神经网络（CNN）因在图像分类方面显示了优越的性能成为深度学习领域的研究热点,但基于深度学习模型是由大量数据训练得到的,常被视为“黑盒子”,缺乏对模型决策做出合理的解释。因此,本文将结合理论分析、实验验证和可视化研究三方面详细地分析CNN模型,得出影响卷积神经网络性能的因素,并实现对模型的可解释。由于卷积神经网络模型的结构设计和参数选择对图像分类效果和模型收敛效率方面有很大影响,因此本文通过大量的对比实验和数值分析得出最优激活函数、梯度下降算法、批量归一化以及模型结构中参数的优化选择,并将其运用到典型的两类数据集中。同时使用Tensorboard可视化CNN模型结构和参数变化过程,为实际应用中优化模型具体参数提供理论支持,辅助调参工作获得最优模型。针对MNIST数据集提出改进的CNN结构模型,用卷积层替换池化层,得到9层网络结构模型,通过设置最优参数提高模型性能。针对Cifar-10数据集,从最简单的卷积神经网络开始逐步通过调参过程来优化模型,实验结果表明适当增加网络层数可以提高准确率,但层数更多并不一定效果更好,较深层的网络中梯度在反向传播时会逐渐消失,因此... 

【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校

【文章页数】：70 页

【学位级别】：硕士

【部分图文】：

机器学习领域热点流变冲积图

哈尔滨工业大学理学硕士学位论文-7-第2章深度学习基础理论近年来，深度学习极大地促进了人工智能领域的发展，已应用于语音、图像和自然语言处理等方面。其中，卷积神经网络因具有局部连接特性和权值共享属性在图像分类任务中表现出了优越性。本章针对图像分类问题，重点说明了相关理论知识。首先阐述了神经网络的基本概念及模型结构，然后对卷积神经网络模型的特有结构进行简要说明，包含卷积层的稀疏连接和权值共享，池化层的采样方法，Softmax分类器等，最后从如何优化模型性能的角度介绍了模型防止过拟合的方法以及评估模型分类性能的指标。2.1人工神经网络2.1.1基本概念人工神经网络是一种模仿人类大脑神经元工作原理的非线性模型，将复杂的神经元结构进行了高度抽象的数学表达。神经元模型包括多个输入，多个输入分别被不同的权值相乘，然后经过一个数学函数计算来决定是否激活神经元，最后计算输出。一个神经元结构如图2-1。图2-1神经元结构相应的数学表达式为：)()()(31T,iiibwffhbxwbxwx（2-1）其中w为权重，b为偏置，f为激活函数，激活函数有多种选择，以Sigmoid函数为例，其数学表达式为：Zezf11)(（2-2）

哈尔滨工业大学理学硕士学位论文-8-其函数图如下图2-2。图2-2sigmoid函数图形其中z是一个线性组合。从上图可知，若输入的值很大或很小时，fz分别趋近于1或0。可以看出Sigmoid函数将输入实数都映射到了[0,1]范围内，输出值的大小可以解释为是正样本概率的大小，例如激活函数的输出为0.95则说明有95%的概率是正样本[39]。神经网络是由图2-1所示的基本神经元组成的多层结构，其包含输入层，若干隐藏层和输出层。如图2-3是一个含有多层的神经网络结构，层与层之间相互联系。图2-3三层神经网络结构2.1.2反向传播算法在训练人工神经网络的过程中，反向传播算法（BackPropagation，BP）是目前最常用且最有效的算法[40]。BP算法主要包含前向传播和权重更新两个步骤，通过不断地循环迭代，直到最后的输出结果满足预先设定的目标为止。下面以图2-3为例介绍反向传播算法的推导过程。首先，定义神经网络中的变量：设ljkw为l1层第k个神经元与l层的第j个神经元间的权重，ljb为l层的第j个神经元的偏置，ljz为l层的第j个神经元的输入，即：ljlkkljkljbawz1（2-3）L1输入层L2隐藏层L3输出层

【参考文献】：
期刊论文
[1]深度学习研究综述[J]. 孙志军,薛磊,许阳明,王正.  计算机应用研究. 2012(08)

硕士论文
[1]基于深度学习的图像分类研究[D]. 雷晓静.西安电子科技大学 2017
[2]基于深度学习的图像分类算法研究[D]. 房雪键.辽宁大学 2016
[3]卷积神经网络在图像分类中的应用研究[D]. 吴正文.电子科技大学 2015
[4]基于卷积神经网络的深度学习算法与应用研究[D]. 陈先昌.浙江工商大学 2014



本文编号：3280635