基于深度学习的图像风格迁移优化方法研究

发布时间：2021-07-07 22:56

　　在图像处理领域中,图像风格迁移是一种借助计算机技术来处理图像的色彩、轮廓、线条等信息来改变图像效果的技术。近年来随着机器学习的发展,使用深度神经网络来进行图像风格迁移取得了良好的效果。但传统的图像风格迁移方法,还存在着风格表现不够明显、内容和风格分离不够清晰、对高分辨率的图片细节表现不好、对低分辨率的图片出现伪影等问题。本文基于深度神经网络,在研究现有网络的基础上,在图像处理领域的图像风格迁移方面设计了两种新的网络,让图像进行风格迁移后的表现效果更好。本文的主要工作包含三个方面:（1）本文在基于用VGG网络提取特征的风格迁移转换网络的基础上加入一个判别器和一个转换块,设计了一种新的模型、提出了新的损失函数来改进原网络。将判别器和转坏块组成的网络加入到深度神经网络中的生成网络的参数训练过程中,让生成网络的参数向更优良的风格迁移效果的方向优化,得到更好的风格迁移模型,从而生成风格化效果更好的风格迁移转换结果。（2）本文基于Artsiom等人提出了基于编码-解码器的模型,设计了一个新的风格迁移模型,提出一种新的风格编码器,将原先的单一编码器增加为新的内容编码器和风格编码器。风格编码器提取的风... 

【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校

【文章页数】：64 页

【学位级别】：硕士

【部分图文】：

艺术风格示例

电子科技大学硕士学位论文21.2.1风格迁移的起源艺术风格就是艺术家的创造个性与艺术作品的语言、情境交互作用所呈现出的相对稳定的整体性艺术特色。如图1-1所示，每一张图都是一种不同的艺术风格。作为非艺术专业的人，每个人都有每个人对于风格的见解，如何要把一个图像的风格变成另一种风格更是难以定义的问题。对于程序员，特别是对于机器学习方面的程序员来说，到底怎么把一个说都说不清的东西变成一个可执行的程序，是困扰了很多图像风格迁移方面的研究者的问题。图1-1艺术风格示例在神经网络之前，图像风格迁移的程序有一个共同的思路，那就是分析某一种风格的图像，给那一种风格建立一个数学或者统计模型，再改变要做迁移的图像让它能更好的符合建立的模型。这样做出来效果还是不错的，比如图1-2中的三张图，左边是待转换的内容图，中间是延时视频数据库，数据库的内容是不同时间点的视频素材，然后，我们在这个数据库中，找到一天中与输入图像相同的时间，在此定位一帧，并在所需的输出时间定位另一郑最后，通过一种基于局部仿射变换的转移技术，将内容图转换为了另一个时间点的风格图，也就是最右边的图。但传统风格迁移一个很大的缺点是，一个程序基本只能做某一种风格或者某一个场景。因此基于传统风格迁移研究的实际应用非常有限。图1-2传统风格迁移示例

第二章风格迁移相关理论知识7提取器需要手工设计并选择特征，这种特征选择的方法低效而复杂，而且很难知道设计的特征是否是最优的特征。而深度学习网络基于数据驱动的学习方式，能够完成特征的自动选择和提龋即将特征的选择和提取融入到一个网络中，特征的选择也成为了一个可学习的过程。神经网络提取特征的方法类似于人类视觉系统处理信息的过程，是一个不断递进的过程。图2-1是对一个具体的人脸识别网络不通层级的特征的可视化结果。网络的输入是像素值构成的矩阵，在网络的低层级处网络提取一些边缘和梯度信息，这些低级特征通过组合构成了人脸的五官的形态，而这些中间层级的特征组合起来就是最终的用于区分每一个人身份的整个人脸的特征。图2-1神经网络提取特征原理有研究表明深度学习这种有层次的特征提取方式十分类似于人类的大脑的视觉皮层的运作方式，即是一个由简单到复杂，由局部到整体，不断抽象的过程。随着网络层级的深入，学习到的特征语义也越来越明确。而且这种特征提取的过程是可学习的，通过不断的训练，网络能丢弃一些无用的特征，从而学习到越来越优的特征。2.2.2卷积神经网络卷积神经网络是一种带有卷积结构的深度神经网络，它的发展基本上和深度学习的发展息息相关。在2012年的ImageNet图像分类竞赛中，Alex设计的卷积神经网络将图像分类错误记录从26%降低到15%，这在当时是一个相当惊人的进步。卷积神经网络通过参数共享有效减少网络的参数量，缓解模型的过拟合问题，使得训练针对图像这样的高维数据的大规模深度网络成为可能。并在计算机视觉的各个任务中，并取得了传统方法无法比拟的成绩。卷积神经网络强大的学习能力来源于其精心设计的网络结构以及设定合适的学习目标。人们试图通过堆叠不同数量的层级，设计


本文编号：3270520