卷积神经网络判别性增强研究

发布时间：2021-10-30 01:49

　　在计算机视觉研究中,图像识别是一个热门的研究课题,它的成功离不开判别性特征。卷积神经网络,特别是深度卷积神经网络,因其具有强大的非线性表达能力而在图像识别领域中取得了极大的成功。然而,无论是在大规模有标记训练数据集情况下,还是在极少量有标记训练样本情况下,现有方法都没有充分挖掘卷积神经网络强大的非线性表达能力,这导致了卷积神经网络输出的深度特征判别性较弱,进而限制了现有方法的性能。本文致力于增强卷积神经网络判别性,主要工作包括:1.提出了一个基于锚点类间角度分散和类内紧凑的损失函数。现有依赖类中心的损失函数需要在训练过程中不断迭代更新类中心,然而,由于计算资源有限,在每一个训练迭代步骤中,利用整个大规模有标记训练数据集进行类中心的更新通常是不现实的。本文提出采用锚点取代类中心,这些锚点在训练过程中固定不变,并被视为类中心,通过约束卷积神经网络使得训练样本尽可能接近它们所对应的锚点即可确保类内紧凑。此外,本文还设计了两个锚点选择原则来确保所选择的锚点尽可能分散,也即确保了类别分布尽可能分散,从而实现了类间角度可分性。当采用标准正交基作为锚点集时,该损失函数只需一个简单的归一化操作即可快速... 

【文章来源】：中国科学院大学(中国科学院西安光学精密机械研究所)陕西省

【文章页数】：139 页

【学位级别】：博士

【部分图文】：

图像理解研究课题

卷积神经网络判别性增强研究4另一个非常重要、但是亟待解决的问题。1.3本文工作在1.2节中，本文提出了两个亟待解决的重要问题。这两个问题有一个共同特性：无论是在大规模有标记训练数据集情况下，还是在极少量有标记训练数据集情况下，卷积神经网络强大的特征表达能力都没有被充分挖掘，这进一步导致了卷积神经网络输出的深度特征判别性较弱，进而限制了图像识别的性能。因此，本文的研究重点是增强卷积神经网络判别性，进而提升图像识别的性能。本文的逻辑结构图如图1.2所示，具体研究内容如下。图1.2本文逻辑结构图Figure1.2Thelogicalstructurediagramofthisdissertation1）在大规模有标记训练数据集情况下，现有基于类中心的损失函数需要某种形式的类中心更新机制。由于计算资源有限，直接在大规模有标记训练数据集上更新类中心通常是不现实的，因而，在一批训练数据上（batch）进行类中心的更新就成了一个常用的折中方案。然而，在一批训练数据中，属于某个特定类别的样本数目随机，它可以为0到批大小（batchsize）之间的任意值，在类中心的更新过程中，这会引起类中心的不稳定，进而导致模型收敛速度较慢甚至不收敛。现有基于类中心的损失函数通常会采用额外的损失函数进行辅助训练来确保模型的收敛，但是，这不可避免的会引入额外的超参数，从而增大了在实际中应用这类损失函数的难度。为了避免在训练过程中对类中心更新机制的依赖，本文提出了采用固定锚点取代类中心，并在此基础上设计了一个新的基于锚点类间角度

?图像识别方面，它的表现都十分出色，已逐渐成为了图像识别领域一个重要的技术选择。2.1.2LeNet早在1998年YannLeCun等人就已经提出了图像识别的卷积神经网络结构LeNet，并将其成功用于手写数字字符的识别。在当时的技术条件下，LeNet就已经取得了低于1%的错误率，并被部署在全美几乎所有的邮政系统用于识别手写邮政编码进而分拣邮件和包裹。LeNet的网络结构如图2.1所示，它所采用的以下四个基本概念：卷积、池化、全连接和通过反向传播训练，依然是现代深度卷积神经网络的核心。这四个基本概念的详细介绍分别如下。图2.1LeNet网络结构[11]Figure2.1ThenetworkstructureofLeNet[11]卷积（convolution）卷积这一概念的提出直接受到了神经科学中简单细胞和复杂细胞这两个经典概念的启发，具体就是视觉皮层中的LGN-V1-V2-V4-IT层次结构[25][26]，它的基本特性为局部连接、权值共享。图像的结构特点可以概括为：局部像素联系较为紧密，而距离较远像素则相关性较弱。因此，在识别图像过程中，可首先感知图像中局部特征，然后在更高层次对局部特征进行综合，从而得到全局信息。卷积的特性契合图像结构的特点，因而，卷积操作可以承担图


本文编号：3465807