面向小样本图像分类的深度学习方法研究
发布时间：2021-02-10 11:24
少量训练样本的图像分类是当前人工智能领域和计算机视觉的一个难题。在现有的研究中,深度学习模型在视觉任务方面（如图像分类）已经取得了最为先进的性能。但是在少量训练样本下模型的泛化性能却不尽人意。目前,许多研究工作通过领域自适应和数据增强的方法以弥补样本数据量不足的缺陷,并通过正则化技术,集成学习以及改变类间距离的方法缓解了模型易过拟合,泛化性能差的情况。但这些方法仍无法达到少量训练样本图像分类对模型建模能力的要求。本文基于深层卷积神经网络,针对上述问题完成了以下三个工作:1.提出面向少量训练样本图像分类的交叉熵损失函数的方法。现有的交叉熵损失函数只关注了样本分到正确类的概率,而没有关注样本分类到错误类的概率。针对多分类交叉熵损失函数中的问题,在少量训练样本条件下改进交叉熵损失函数,使之在关注样本分类到正确类样本概率的同时,也关注样本分类到错误类的概率,从而进一步提高模型的泛化能力,改善模型的稳定性。本工作在Stanford Cars-196数据集,UIUC-Sports数据集,LabelMe数据集以及CIFAR-10数据集进行实验验证。实验表明,所提出的方法与现有的方法相比提高了模型的分...
【文章来源】：兰州理工大学甘肃省
【文章页数】：60 页
【学位级别】：硕士
【部分图文】：
各种分类应用场景示例图
硕士学位论文7第2章相关基础理论本文主要介绍本文所涉及的相关基础知识。包括，卷积神经网络的基本架构，卷积神经网络中VGG16基本结构，以及本文所涉及的关系网络和原型网络的原理的介绍。2.1卷积神经网络卷积神经网络(CNNs)已经被提出超过二十年，与其它神经网络模型，如多层感知器(MLP)相比，卷积神经网络的设计是将多个阵列作为输入，然后通过模拟人眼感知图像，在局部区域内使用卷积算子对输入进行处理。因此，卷积神经网络在解决图像分类，识别和理解计算机视觉等问题上具有优异的性能。在1998年，LeCun[74]提出了现代的卷积神经网络LeNet-5，一共七层，如图2.1所示。其中C表示卷积层，S表示下采样层，F表示全连接层。图2.1LeNet-5网络结构图在LeNet被提出来之后，很多研究者为了解决更为复杂的问题，提出了更复杂网络结构，例如Alexnet（8层），GoogLeNet(22层)，VGG-16（16层）以及Resnet（152层）。表2.1总结了近年最为先进的几个卷积神经网络。从表2.1可以看出，近年来所提CNNs中参数数量较多，训练和推理时间较长。另外，高维输入，网络参数多，复杂CNNs的配置对处理单元效率、内存带宽、通信等硬件方面也提出了新的要求。下面我们主要介绍卷积神经网络里几个重要的组成模块。输入层在卷积神经网络中，输入层通常为多个数组，并且输入大小通常是固定的。因为卷积神经网络具有平移不变性的特点，因此其输入并不需要大小规整和集中。
硕士学位论文9图2.2常用激活函数示意图池化层通常在卷积层之后是下采样层，其作用是降低特征图的分辨率，参数和计算量。如公式2.3。()jjZ=downX，(2.3)其中down(-)表示下采样运算。最大池化和平均池化是卷积神经网络中最典型的下采样运算，最大池化指的是取出某一局部特征块中最大的特征值作为这个块的最终特征值，其它特征值去掉。平均池化指的是求取某一局部特征块的所有特征值的平均值作为该块的最终特征值。除了上述方法，为缓解神经网络的过拟合问题，许多研究者在上述方法的基础上提出了Lp池化[80]，随机池[81]和混合池[82]等方法。与卷积核不同，下采样对神经网络主要有两个作用。第一是通过对输入特征进行下采样，可以减小输入特征的大小，减小运算量。第二，通过下采样，可以使输出特征对单个神经元单元的畸变和误差具有更强的鲁棒性[83]。全连接层输入特征在经过上述层之后，将得到高维的非线性特征。通过全连接层，神经元将这些高维特征转换为一维特征。其中全连接的每一层的神经元都与上一层神经元相连接，全连接层以这种更为复杂的方式提取到更多复杂的信息。对于图像分类来说，在全连接层之后接入分类器，例如softmax，得到最后图像分类的结果。2.2VGG16卷积神经网络VGGNet[86]神经网络是2017年GoogleDeepMind研究员和牛津大学视觉几何组共同提出。该网络的贡献在于证明了网络尽管使用很小的卷积核，但通过增加网络深度可以有效的提升网络模型的效果。相比于其它网络，VGGNet对其它数
【参考文献】：
期刊论文
[1]图像理解中的卷积神经网络[J]. 常亮,邓小明,周明全,武仲科,袁野,杨硕,王宏安. 自动化学报. 2016(09)
本文编号：3027280
【文章来源】：兰州理工大学甘肃省
【文章页数】：60 页
【学位级别】：硕士
【部分图文】：
各种分类应用场景示例图
硕士学位论文7第2章相关基础理论本文主要介绍本文所涉及的相关基础知识。包括，卷积神经网络的基本架构，卷积神经网络中VGG16基本结构，以及本文所涉及的关系网络和原型网络的原理的介绍。2.1卷积神经网络卷积神经网络(CNNs)已经被提出超过二十年，与其它神经网络模型，如多层感知器(MLP)相比，卷积神经网络的设计是将多个阵列作为输入，然后通过模拟人眼感知图像，在局部区域内使用卷积算子对输入进行处理。因此，卷积神经网络在解决图像分类，识别和理解计算机视觉等问题上具有优异的性能。在1998年，LeCun[74]提出了现代的卷积神经网络LeNet-5，一共七层，如图2.1所示。其中C表示卷积层，S表示下采样层，F表示全连接层。图2.1LeNet-5网络结构图在LeNet被提出来之后，很多研究者为了解决更为复杂的问题，提出了更复杂网络结构，例如Alexnet（8层），GoogLeNet(22层)，VGG-16（16层）以及Resnet（152层）。表2.1总结了近年最为先进的几个卷积神经网络。从表2.1可以看出，近年来所提CNNs中参数数量较多，训练和推理时间较长。另外，高维输入，网络参数多，复杂CNNs的配置对处理单元效率、内存带宽、通信等硬件方面也提出了新的要求。下面我们主要介绍卷积神经网络里几个重要的组成模块。输入层在卷积神经网络中，输入层通常为多个数组，并且输入大小通常是固定的。因为卷积神经网络具有平移不变性的特点，因此其输入并不需要大小规整和集中。
硕士学位论文9图2.2常用激活函数示意图池化层通常在卷积层之后是下采样层，其作用是降低特征图的分辨率，参数和计算量。如公式2.3。()jjZ=downX，(2.3)其中down(-)表示下采样运算。最大池化和平均池化是卷积神经网络中最典型的下采样运算，最大池化指的是取出某一局部特征块中最大的特征值作为这个块的最终特征值，其它特征值去掉。平均池化指的是求取某一局部特征块的所有特征值的平均值作为该块的最终特征值。除了上述方法，为缓解神经网络的过拟合问题，许多研究者在上述方法的基础上提出了Lp池化[80]，随机池[81]和混合池[82]等方法。与卷积核不同，下采样对神经网络主要有两个作用。第一是通过对输入特征进行下采样，可以减小输入特征的大小，减小运算量。第二，通过下采样，可以使输出特征对单个神经元单元的畸变和误差具有更强的鲁棒性[83]。全连接层输入特征在经过上述层之后，将得到高维的非线性特征。通过全连接层，神经元将这些高维特征转换为一维特征。其中全连接的每一层的神经元都与上一层神经元相连接，全连接层以这种更为复杂的方式提取到更多复杂的信息。对于图像分类来说，在全连接层之后接入分类器，例如softmax，得到最后图像分类的结果。2.2VGG16卷积神经网络VGGNet[86]神经网络是2017年GoogleDeepMind研究员和牛津大学视觉几何组共同提出。该网络的贡献在于证明了网络尽管使用很小的卷积核，但通过增加网络深度可以有效的提升网络模型的效果。相比于其它网络，VGGNet对其它数
【参考文献】：
期刊论文
[1]图像理解中的卷积神经网络[J]. 常亮,邓小明,周明全,武仲科,袁野,杨硕,王宏安. 自动化学报. 2016(09)
本文编号：3027280
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3027280.html
