基于深度学习的漫画风格迁移方法研究

发布时间：2020-04-09 01:23

【摘要】：在图像处理的领域之中,一些研究人员利用深度学习在处理图像风格化的方面取得了很好的效果,图像风格化就是将一张普通照片在内容不变的情况下生成具有另外一种风格的图像。漫画的发展可以追溯到很久以前的人类社会智人时期,如今也作为一种流行的娱乐方式受到各个阶层人们的喜爱。因此,研究漫画风格化的迁移具有学术研究和实际应用价值。目前的研究结果表明,大多数的风格迁移算法的风格图都是油画等带有强烈纹理的图像,而以黑白的点线特征为主的漫画图像风格迁移却鲜少有涉及,所以本文针对漫画图像的风格迁移进行了有关研究。具体内容如下:(1)在阅读风格迁移的相关文献后,对于基于块匹配的风格迁移、基于自适应归一化的风格迁移、基于损失感知函数的风格迁移以及漫画对抗生成网络进行了实验,对比得出这四种方法在漫画风格迁移方面产生图像的质量,并分析结果,选择基于感知损失函数的模型作为本文产生漫画风格迁移模型的基础。(2)基于损失感知函数的实时风格转换,首先在原网络的基础上更改了归一化的方法。由于图像风格化中生成结果主要依赖于某个图像实例,所以运用实例归一化代替批归一化。其次,当用神经网络生成图像时,经常从低分辨率与高阶描述构建图像,这会让网络先描绘粗糙的图像,再填充细节,经常会产生棋盘状格纹。于是采用最邻近插值法进行图像的缩放,再做卷积,以这样的方式代替反卷积,可以提高生成图像的质量,远离棋盘效应的出现。(3)对神经网络不同的层提取出来的特征图进行了大量的实验分析分析,发现浅层的网络提取出的特征更加偏向于点线面,而深层网络提取出的特征更偏向于整体的纹理与风格图的整体感觉,因此选择最适合漫画风格迁移的不同卷积层的权重比例对漫画图像进行特征提取。(4)之前的大部分风格迁移模型训练都选用了最常使用的Coco数据集,Coco数据集中的图像是彩色的真实照片,为了得到更适合漫画风格的模型,本文对于漫画风格图像的迁移建立了包含一千多张标准黑白漫画图像的数据集,利用漫画数据集对模型进行训练,通过对比相同参数下不同数据集的结果,漫画数据集训练的风格迁移效果最优。(5)在Ubuntu的操作系统下,搭建了基于Python语言的Pyqt界面开发工具,利用Pyqt进行了界面的开发。该系统可以选择任意图像输入,在界面中可以选择不同的参数进行调整,对比不同参数的效果,也可以对不同的图像进行训练得到不同的漫画风格模型。
【图文】：

特征图,图像纹理,提取方法

我认为还是有必要在现有的研究中继续改进，将神经艺术算法的渲染创作中。题研究现状神经网络的图像风格迁移在 2015 年由 Gatys 等人在两篇论文中提出的，Gatys et al., 2015a[7]，第二篇是 Gatys et al., 2015b[8]。在 2015 年 Gatys 等人提出了一种基于卷积神经网络特征空间的纹理模型，在这个模型中，纹理层中的特征图之间的相互关系重新呈现，在使对象信息越来越清晰的同来越多地捕捉自然图像的风格内容特征。方法正如图 1-1[7]中所示，左边神经网络，经过不同卷积层的特征提取与 Gram 矩阵的计算得出纹理分析图像输入，计算纹理在不同层的损失函数，进行纹理的合成。第二篇文献篇文献中的纹理合成的方法，进行了油画风格的图像风格迁移，作者使用网络层进行内容的重建，保留下最大的像素值部分，然后与提取到的纹理最终的含有不同油画艺术风格的图像。

模块图,模块,网络层

ResNet 残差神经网络由微软研究院的 Kaiming He 等 4 名华人提出[25]，ResNet 的网结构将之前的参数都可以传递下来，对于网络的准确率也有很大的提高，ResNet 将网层数增加到 50、101 和 152，都得到了比较好的结果，但是当网络层增加到 1202 时结降低，由于网络层数太深会导致过拟合。残差网络的主要核心是将每一层信息直接传递输出，不会因为网络层数的增加导致退化的问题，在网络层数增加的基础上，准确率也得到一定的上升，保证提取到特征的完整性。VGGNet是由牛津大学计算机视觉组合和Google DeepMind公司研究员一起研发的深卷积神经网络[26]。如今 VGG16 和 19 仍然被应用于很多的图像特征提取问题中，网络利用了 3 3的小卷积核进行特征的提取，2 2的最大池化层进行降维。VGGNet 的网络构如下图 2-4 所示。最为常用的是 VGG16 和 VGG19，，网络大致分为五大块，每一块都几个卷积层串联，之后跟随一个最大池化，最后三个全连接层以及 softmax 分类器，VGG网络主要运用在图像特征提取方面，使用 3 3的滤波器和 2 2的池化层，通过网络的断加深可以提升网络的性能。但是网络的缺点是参数较多，需要更大的储存空间。
【学位授予单位】：西安理工大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.41;TP181

【相似文献】