深度迁移学习算法及其应用研究
发布时间：2021-06-05 23:29
近年来,深度学习技术在计算机视觉领域取得了巨大的成功,表现出了惊人的学习表征能力。尽管成就是显著的,但大多数深度学习模型都依靠大量的标签数据来实现和提高它们的性能。因此,如何在没有大量标记的数据中学到知识就显得尤为重要。迁移学习旨在从一个场景中学习到的知识迁移到另一个相似的应用场景中,是深度学习“落地”的一种重要探索。本文立足于迁移学习算法及其在自动驾驶中的应用研究,主要工作如下:（1）针对闭集域自适应问题,本文提出了一种可迭代的域自适应方法,逐渐为无标记的目标域样本打上伪标签,并利用带有伪标签的目标域样本训练目标分类器。该方法为直接优化分类误差提供了依据,并适用于无监督和弱监督的场景。在无监督的域自适应领域中,该方法的性能可与最先进的域自适应方法相媲美。实验表明,它对无监督域自适应的困难任务仍表现的良好。（2）针对开放集域自适应问题,本文在OSDA-BP算法的基础上,对提取潜在未知样本的二元交叉熵损失函数进行了改进。并提出用基于距离的对称Kullback-Leibler损失函数来代替二元交叉熵损失函数。在Office-31数据库上的实验表明:改进的OSDA-BP方法能有效提升性能。（...
【文章来源】：南京邮电大学江苏省
【文章页数】：67 页
【学位级别】：硕士
【部分图文】：
全连接神经网络
是共享的，可以进一步降低参数量，缩短网络训练时间。一般用于图像分类的卷积神经网络包括以下几种基本操作运算层:一、图片输入层，一般指输入图像为四维像素矩阵（batchsizeheightwidthchannel），当输入图像是灰度图像时，通道数为1，当输入图像是彩色图像时，通道数为3。在该层时，一般会对图像进行一些裁剪、缩放、增强、归一化等操作；二、卷积层，特征提取器的主要部分，保持图像原有空间结构信息不变的情况下，将输入图像矩阵或是前一层特征图矩阵经过卷积层中多组卷积核的卷积运算转化为下一层作为输入的特征矩阵，如图2.2所示，图中的卷积核的尺寸大小为，数字3就是左上角像素矩阵和卷积核对应相乘再相加得到的；池化降采样层，主要有平均池化和最大池化两种形式，具体如图2.2右半部分所示。pooling层主要有以下三个图2.2卷积和池化操作示意图优点:一、增强了CNN对平移、旋转、缩放等图像变换的鲁棒性；二、当输入的图像尺寸更大时，能够有效降低中间特征图的尺寸大小，进一步降低网络参数量。构建更高层的网络以学习图像更高层的结构特征；三、有效防止过拟合现象的产生（过拟合现象：训练集的准确率上升，而测试集的准确率反而下降，说明过度拟合了训练集中的无关细节）；四、全连接×××3×33×3
砘?窬??纾篖eNet-5网络模型，被YannLeCun[22]等人于1998年提出，此项举措正式拉开了深度学习发展的序幕，网络模型如图2.3所示，卷积层、池化层交替排布，后接全连接层的网络结构形式在卷积神经网络以后提出的网络中占据主导地位。LeNet-5的输入为32×32尺寸大小的MNIST数据集，经过两次卷积、池化运算得到16通道的5×5的特征图，即所在位置。完成卷积运算后，再将16×5×5的特征矩阵展成一维矢量，输入到后续的3个全连接层中，最后经过Softmax层得到预测为数字0~9的概率值，并取概率最大的数字作为CNN最终的判别类别。图2.3LeNet-5网络模型2012年是卷积神经网络发展史上具有里程碑纪念意义的一年，AlexKrizhevsky提出了AlexNet神经网络模型[2]，如图2.4所示，并用它们赢得了当年的ImageNet[23]大规模视觉识别挑战赛（ImageNetLargeScaleVisualRecognitionCompetition，ILSVRC）的冠军，把分类错误率从26％降到15％，从那以后，许多公司的技术发展重心不断向深度学习迁移。如Facebook的自动标记，谷歌的照片搜索，亚马逊的产品推荐等等。AlexNet的提出在LeNet-5之后，是在Dropout、relu激活函数、GPU大数据的发展下提出来的，共有8层带有学习参数得网络层，5层卷积层，3层全连接层。实现了网络的进一步加深，要处理的数据集也从MNIST手写体数据集变为ImageNet百万级数据集。ImageNet的图像尺寸为256×256，AlexNet采用了平移、缩放、水平翻转等方式来进行数据增强，处理后的图像尺寸为224×224。为缓解梯度消失问题，加快网络收敛，AlexNet采用ReLU作为激活函数并利用两个GPU来并行训练网络。同时，AlexNet网络模型在前两个全连接层中S4<latexitsha1_base64="8eXj1raIe+IEBljVJUdfNpmf5Es=">AAACxXicjVHLTsJAFD3UF+ILdemmkZiwIgVJdEniQpf4QEiQ
本文编号：3213115
【文章来源】：南京邮电大学江苏省
【文章页数】：67 页
【学位级别】：硕士
【部分图文】：
全连接神经网络
是共享的，可以进一步降低参数量，缩短网络训练时间。一般用于图像分类的卷积神经网络包括以下几种基本操作运算层:一、图片输入层，一般指输入图像为四维像素矩阵（batchsizeheightwidthchannel），当输入图像是灰度图像时，通道数为1，当输入图像是彩色图像时，通道数为3。在该层时，一般会对图像进行一些裁剪、缩放、增强、归一化等操作；二、卷积层，特征提取器的主要部分，保持图像原有空间结构信息不变的情况下，将输入图像矩阵或是前一层特征图矩阵经过卷积层中多组卷积核的卷积运算转化为下一层作为输入的特征矩阵，如图2.2所示，图中的卷积核的尺寸大小为，数字3就是左上角像素矩阵和卷积核对应相乘再相加得到的；池化降采样层，主要有平均池化和最大池化两种形式，具体如图2.2右半部分所示。pooling层主要有以下三个图2.2卷积和池化操作示意图优点:一、增强了CNN对平移、旋转、缩放等图像变换的鲁棒性；二、当输入的图像尺寸更大时，能够有效降低中间特征图的尺寸大小，进一步降低网络参数量。构建更高层的网络以学习图像更高层的结构特征；三、有效防止过拟合现象的产生（过拟合现象：训练集的准确率上升，而测试集的准确率反而下降，说明过度拟合了训练集中的无关细节）；四、全连接×××3×33×3
砘?窬??纾篖eNet-5网络模型，被YannLeCun[22]等人于1998年提出，此项举措正式拉开了深度学习发展的序幕，网络模型如图2.3所示，卷积层、池化层交替排布，后接全连接层的网络结构形式在卷积神经网络以后提出的网络中占据主导地位。LeNet-5的输入为32×32尺寸大小的MNIST数据集，经过两次卷积、池化运算得到16通道的5×5的特征图，即所在位置。完成卷积运算后，再将16×5×5的特征矩阵展成一维矢量，输入到后续的3个全连接层中，最后经过Softmax层得到预测为数字0~9的概率值，并取概率最大的数字作为CNN最终的判别类别。图2.3LeNet-5网络模型2012年是卷积神经网络发展史上具有里程碑纪念意义的一年，AlexKrizhevsky提出了AlexNet神经网络模型[2]，如图2.4所示，并用它们赢得了当年的ImageNet[23]大规模视觉识别挑战赛（ImageNetLargeScaleVisualRecognitionCompetition，ILSVRC）的冠军，把分类错误率从26％降到15％，从那以后，许多公司的技术发展重心不断向深度学习迁移。如Facebook的自动标记，谷歌的照片搜索，亚马逊的产品推荐等等。AlexNet的提出在LeNet-5之后，是在Dropout、relu激活函数、GPU大数据的发展下提出来的，共有8层带有学习参数得网络层，5层卷积层，3层全连接层。实现了网络的进一步加深，要处理的数据集也从MNIST手写体数据集变为ImageNet百万级数据集。ImageNet的图像尺寸为256×256，AlexNet采用了平移、缩放、水平翻转等方式来进行数据增强，处理后的图像尺寸为224×224。为缓解梯度消失问题，加快网络收敛，AlexNet采用ReLU作为激活函数并利用两个GPU来并行训练网络。同时，AlexNet网络模型在前两个全连接层中S4<latexitsha1_base64="8eXj1raIe+IEBljVJUdfNpmf5Es=">AAACxXicjVHLTsJAFD3UF+ILdemmkZiwIgVJdEniQpf4QEiQ
本文编号：3213115
本文链接：https://www.wllwen.com/kejilunwen/shengwushengchang/3213115.html
最近更新
教材专著
