感受野学习模型、方法与应用研究

发布时间：2021-11-21 00:34

　　图像检测与识别任务的性能很大程度上取决于特征的表达能力,好的特征应该能丢弃无关信息,并将图像中与任务相关的要素充分的抽象出来。传统的描述子受到表达能力的限制,成为图像检测与识别任务中的瓶颈。而近年来迅速发展的特征学习模型能够从数据中学习图像的特征,将图像检测与识别算法的能力推向了一个新的高度。在特征学习算法中,通过对特征的池化（pooling）操作,可以生成一个更有效、包含了重要信息的新特征,同时抛弃一些无关细节。池化能够使特征产生一些较为复杂的特性,因此有研究者也将特征学习模型中的池化,与哺乳动物复杂视觉细胞相对应。在神经科学中,这些复杂视觉细胞对于输入信号的响应具有局部性、带通性和选择性,上述性质也被称作复杂视觉细胞的感受野。本文的主要工作,围绕面向图像检测和识别任务的特征学习展开,旨在通过对池化模型的改进,进一步地提高特征的表达能力。一些研究者将池化模型上的学习方法称为感受野学习。本文对特征词袋（Bag-of-features,BoF）模型和卷积神经网络（Convolutional Neural Networks, CNN）模型上的池化展开研究,主要工作和贡献包含以下四个方面:1... 

【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校

【文章页数】：125 页

【学位级别】：博士

【部分图文】：

图１－１面向图像识别的Ｂａｇ－ｏｆ－ｆｅａｔｕｒｅｓ模型框架图??

?为获得更加丰富的特征空间上的分布信息，许多子区域的分割方式如规则网??格结构、空间金字塔［３８］、超完备（如图１－３）等方案被相继提出，使ＢｏＦ特征??包含更为丰富的局部信息。??■?■■■??■?■?■?■?ｉｂ＇??■?■■■?■■■■■■＿■■国??■?■■■雇＿?？鼉?ＳＳＳ５ＩＳＳＥ５Ｓ??■?：：：５：：Ｓ：ＳＳ??ＯＴ?ＩＨ?ｍ?ＷＫｔ?■■■■■■■■■■??ｕｍｕｍ?歷■■醒?ｓｓａｓｓｓｓｓｓ：??（ａ）?（ｂ）?（ｃ）??图１－３池化区域。（ａ）规则网格；（ｂ）空间金字塔；（ｃ）超完备??除了减少特征的数量之外，池化还能够为特征表达带来一些非常有用的特性，??比如平移不变性。这意味着即使将图像进行一个小的平移，所产生的特征表达也??不发生变化。??１．２．２卷积神经网络??卷积神经网络（ＣＮＮ）是一种广泛应用的神经网络模型。其最早的设想源于??２０世纪６０年代，Ｈｕｂｅｉ和Ｗｉｅｓｅｌ在研究猫视觉皮层细胞［２７］时，发现产生局部敏感??性和方向选择性的神经元组成了一个特别的网络结构，提出了感受野（ｒｅｃｅｐｔｉｖｅ??ｆｉｅｌｄ）的概念。据此，Ｋ．Ｆｕｋｕｓｈｉｍａ在１９８０年提出的神经认知机（ｎｅｏｃｏｇｎｉｔｒｏｎ）??被认为是卷积神经网络的原型【２８］。１９８９年Ｙ．ＬｅＣｕｎ将ＢＰ?（Ｂａｃｋ－Ｐｒｏｐａｇａｔｉｏｎ）算??法同卷积神经网络结合进行图像识别，该模型被认为是第一个现代意义的卷积神??经网络［２９］。??一般来说，ＣＮＮ包括两种基本结构，一个是卷积层，每个神经元与上一层的??局部感受野相连接

ＬｅＮｅｔ－５是ＬｅＣｕｎ等人于１９８９年提出的一个用于手写字体识别的卷积神经网??络［２９］，是卷积神经网络发展过程中一个具有里程碑意义的经典模型。ＬｅＮｅｔ－５网络??由７层组成，每一层都包含了可训练的参数，具体模型结构如图１－４所示。与当前??主流的卷积神经网络较为不同的一点是，池化层Ｓ２特征图与卷积层Ｃ３特征图之??间的连接采用了部分连接的方式。对此，ＬｅＣｉｍ等人提出了两点原因：首先，不??完全的连接能够控制参数的数量；其次，打破网络的对称性，有利于特征图能够??学习到多样化的特征。??Ｃ３：?ｆ．?ｍａｐｓ?１６＠１０ｘ１０??ＩＫ１ｐｉ，Ｔ?Ｃ１：?ｆｅａｔｕｒｅ?ｍａｐｓ?Ｓ４：?ｆ．?ｍａｐｓ?１６＠５ｘ５??Ｆｕｌｌ?ｃｏｎｈｅｃｔｉｏｎ?｜?Ｇａｕｓｓｉａｎ??Ｃｏｎｖｏｌｕｔｉｏｎｓ?Ｓｕｂｓａｍｐｌｉｎｇ?Ｃｏｎｖｏｌｕｔｉｏｎｓ?Ｓｕｂｓａｍｐｌｉｎｇ?Ｆｕｌｌ?ｃｏｎｎｅｃｔｉｏｎ??图１－４?ＬｅＮｅｔ－５网络结构［２９］??ＡｌｅｘＮｅｔ是由Ｈｉｎｔｏｎ的学生Ａｌｅｘ?Ｋｒｉｚｈｅｖｓｋｙ于２０１２年提出的一种卷积神经网??络模型该模型Ｔ〇Ｐ５的错误率为１５．３％，与之前最好的算法相比，错误率下降??了近一半，在当年的ＩｍａｇｅＮｅｔ图像识别竞赛中获得了冠军。由于该算法的出色性??能，引起了学术界和工业界对于深度学习算法的强烈关注，成为深度学习发展的??一个转折点。ＡｌｅｘＮｅｔ由５个卷积层、３个池化层和２个全连接层组成。模型采用??了?２２４ｘ２２４的三通道图像作为输入


本文编号：3508400