基于组归一化的图像实时风格迁移研究

发布时间：2021-03-20 08:57

　　传统的图像风格迁移方法由于需要手动建模实现,而且常用的归一化方法是批量归一化,导致训练损失函数收敛速度较慢,同时图像纹理在迁移过程中表现不稳定,纹理形状发生改变。针对以上问题,本文提出了一种基于组归一化的图像实时风格迁移方法。首先,在感知损失函数的实时风格迁移模型的基础上,设计出一种更加简练高效的图像生成网络。其次,在图像生成网络的归一化层,使用组归一化代替批量归一化,加快损失函数收敛速度。最后,在风格损失函数的基础上加入直方图损失作约束。通过以上方法,旨在训练高效的图像实时风格迁移模型。实验结果表明,在小batch size下训练模型,提出的方法在损失函数的收敛速度上比使用批量归一化的方法要快,并且不会因为batch size大小的改变而影响模型的性能。在风格损失函数中加入直方图损失可以有效解决纹理迁移不稳定问题。通过主观对比和调查分析,提出的方法可以产生令人满意的视觉效果。在迁移速度方面可以满足实时迁移的需求,并且在视频风格迁移中得到了实际的应用。论文有图44幅,表2个,参考文献50篇。 

【文章来源】：辽宁工程技术大学辽宁省

【文章页数】：69 页

【学位级别】：硕士

【部分图文】：

图像风格迁移效果

占淦?频姆椒ǘ蕴卣魍冀?斜浠唬?佣?钥占湫畔⒔??了约束。产生的风格化效果远远优于传统的方法。1.2.2国外研究现状国外研究主要是从非真实感图像渲染的传统方法过渡到基于深度学习的图像风格迁移方法。Efros等人[17]提出了一种简单的图像纹理拼接的方法，利用一块块小的纹理图像不断地进行合并，最终形成新的纹理图像，使用这个过程作为快速简单的纹理合成算法，对各种纹理的合成有一种可观的效果。Hertzmann等人[18]提出了基于画笔绘制的图像风格迁移方法，一幅画分为不同的层次，呈金字塔式序列，逐层进行绘制，如图1.2所示，绘制的过程中逐层减小画笔的尺寸，最终使得纹理更加接近想要的样式风格。随后，JamsHays[19]根据Hertzmann的方法，提出了不同画笔模型的绘制方法。Bae等人[20]提出了基于图像的双尺度非线性分解方法，基于直方图对不同图层进行修改，引入一种细节空间变化控制技术，并且加入了泊松校正，避免了可能存在的梯度反转，同时引入了直接控制参数，还可以将模型照片的外观转移到正在编辑的图片上，不过在处理高分辨率图像时效果较差。Sunkavalli等人[21]提出了以多尺度为核心的图像协调方法来实现风格的迁移，如图1.3所示，通过仔细地操纵图像的金字塔分解的比例，可以对不同的图像特征进行匹配，同时避免图像伪像，将一个图像的外观转移到另一个图像。图1.2画笔绘制技术Figure1.2Brushdrawingtechnology

辽宁工程技术大学硕士学位论文5图1.3多尺度图像协调框架Figure1.3Multiscaleimagecoordinationframework2015年，Gatys等人[7]首次运用了卷积神经网络来实现图像风格迁移，标志着深度学习技术正式应用在图像风格迁移领域中。在这之前，Gatys还发表过一篇文献[22]为此做了铺垫，研究表明，利用卷积神经网络建立一种新的纹理合成模型，在模型内部，纹理的表示采用网络各层特征图之间的相关性，在纹理特征提取方面也更符合风格化图像。方法如图1.4所示，把原始图像输入卷积神经网络，在不同的卷积层上进行特征提取，计算对应的特征图格莱姆矩阵(GramMatrix)[23]，在右侧输入白噪声图像，在此基础上计算纹理模型每层的损失函数，根据损失函数计算梯度下降，直至合成符合原始图像的纹理。随后发表的第二篇文献[7]主要是把第一篇中所提到的方法应用到了图像风格迁移上。运用预训练好的VGG19卷积神经网络对输入图像的抽象特征进行提取，然后进行分离和重组，得到相较于传统方法更好的风格迁移效果，不过还是会在迁移时间上会花费大量的时间。Yin[24]等人发现Gatys方法中并没有对内容图像的语义进行考虑，基于这个原因，他们提出了一种使用区域分割来提取图像语义再进行风格迁移方法。2016年，Johnson等人[25]提出了一种基于感知损失函数的图像实时风格迁移方法，该方法通过使用感知损失函数训练出一个特定风格的迁移模型，使用得到的模型不仅生成效果可观，而且在迁移速度上还较Gatys的方法提升了三个数量级，自此，图像实时风格迁移便正式闯入了人们的视线。之后的图像风格迁移方法基本上继承了Johnson等人的思想，在图像迁移速度方面达到了实时性的需求。Ulyanov等人[26]根据Johnson的框架进行了改进，使用实例归一化替代批量归一化，

【参考文献】：
期刊论文
[1]零样本图像识别[J]. 兰红,方治屿.  电子与信息学报. 2020(05)
[2]多尺度红外超像素图像模型的小目标检测[J]. 刘忠林,吴一全,邹宇.  中国图象图形学报. 2019(12)
[3]基于多任务学习的方言语种识别[J]. 秦晨光,王海,任杰,郑杰,袁璐,赵子鑫.  计算机研究与发展. 2019(12)
[4]多级跳线连接的深度残差网络超分辨率重建[J]. 赵小强,宋昭漾.  电子与信息学报. 2019(10)
[5]卷积神经网络结构优化综述[J]. 林景栋,吴欣怡,柴毅,尹宏鹏.  自动化学报. 2020(01)
[6]智能车道路场景数字字符识别技术[J]. 白睿,徐友春,李永乐,李炯,谢枫.  激光与光电子学进展. 2019(19)
[7]改进的卷积神经网络在医学图像分割上的应用[J]. 刘辰,肖志勇,杜年茂.  计算机科学与探索. 2019(09)
[8]一种具有空间约束的快速神经风格迁移方法[J]. 刘洪麟,帅仁俊.  计算机科学. 2019(03)
[9]基于深度学习的图像语义分割方法综述[J]. 田萱,王亮,丁琪.  软件学报. 2019(02)
[10]基于深度学习的数字几何处理与分析技术研究进展[J]. 夏清,李帅,郝爱民,赵沁平.  计算机研究与发展. 2019(01)



本文编号：3090733