以限域拟牛顿法为导向的风格迁移算法研究
发布时间：2020-12-15 23:58
随着深度学习在人工智能领域技术的不断发展,卷积神经网络在很多领域取得巨大成功。卷积神经网络不仅在语音识别、图像识别、图像分割、自然语言处理上研究成果丰硕,而且在风格迁移技术上不断提升。在图像处理方面,图像风格迁移技术的趣味性就是将一张照片在内容度不变的情况下被渲染成有艺术特性的新画作。图像风格迁移主要是指利用机器学习算法学习具有艺术代表性画作的风格,并将这种风格迁移到给定图片上的技术。通过对当前已研究的基于深度学习的风格艺术化算法的设计与实现,发现存在着一些问题,比如:卷积神经网络在实现图像风格迁移中出现的图像失真及精度较差问题、将风格迁移传输至文字上时,文体的风格化结果辨别不清。本文针对这些问题提出如下解决方案:（1）针对卷积神经网络在实现图像风格迁移中出现的准确度下降及图像失真的问题,提出一种基于卷积神经网络的图像风格迁移算法。首先分析了传统的纹理重构算法,采用拟牛顿法之一的L-BFGS优化方法对其进行改进;然后利用Gram矩阵计算图片中的纹理、颜色和视觉信息,并提取一张普通图片和一张具有代表性的艺术性图像的两种高层抽象特征表示,从而生成具有原内容和艺术性风格的合成图像。在以Ten...
【文章来源】：沈阳师范大学辽宁省
【文章页数】：45 页
【学位级别】：硕士
【部分图文】：
Prima效果图
实闹?建。DumoulinV[9]在卷积层权重相同的条件下根据不同的样式设计不同的模型，提出多个模型可共用一个模型，实现实时风格差补并缓解空间问题。在国内的图像风格迁移中，众多学者同样在风格迁移算法上做出许多贡献。王通平[10]解决了监控人脸数据在风格迁移上的域间差异问题，区别于基于特征的域适应方法，在现有带标签的数据下进行风格迁移。姚可欣教授等[11]设计一种基于迁移学习技术的简笔画识别模型，解决样本库数据量小的问题，利用风格迁移提高了识别简笔画的识别准确度。下图为Gatys算法所产生的图像迁移效果图：图1.2基于Gatys提出算法的图像迁移化在文字风格迁移技术上的早期研究中，中文汉字字体中间的风格差异主要在于线条与结构之间的差异。字体合成的使用在以前主要基于轮廓的几何建模，而由Gatys提出的创新点[5]不仅用于图像迁移，还可运用在文字迁移上。借助人工智能技术实现文字风格的设计逐渐成为研究热点，研究人员已经研究了从图像中建模字形的方法。滕少华[12]提出一种基于生成式对抗网络的中文字体风格迁移的新方法，使用基于残差结构的生成式模型，在均方误差约束下，实现不同中文字体间一对一和多对多的风格迁移。肖奋溪[13]采用编码器-解码器的模型并引入连通桥结构、加入标签控制多种风格训练和生成文字，在个人手动控制的基础上实现圆滑过渡及小样本风格迁移。AzadiS[14]中的多内容GAN模型由GlyphNet网络用于预测粗略的字形形状、以及OrnaNet网络预测最终字形的颜色和纹理。ZhangXY[15]设计映射函数，区分了对抗损失函数和循环一致损失函数，强调多重循环一致性，无
以限域拟牛顿法为导向的风格迁移算法研究-4-需像卷积神经网络一样将手写轨迹转化为图像表示，最终提出一种基于生成对抗网络来识别和生成文字。国内外学者在文字迁移上的研究越来越多。如今，深度学习与图像的结合越来越广泛，谷歌推出的画简笔画的工具Autodraw，任意画几笔，算法便可识别出想要画什么图案。再如谷歌2015年研究并发行的“深梦”技术，展现了卷积神经网络在图像领域的不断创新。下图1.3为深梦效果图：图1.3深梦之终梦效果图从近年来层出不穷的图像及文字处理方面来看，人们在风格化算法方面有着越来越多的研究与想法。深度学习不仅在图像识别、图像处理有重大创新，尤其是在风格化迁移技术方面，深度学习为图像处理带来更多的创新。而且，基于深度学习的风格化不仅可应用在图像和文字上，现已应用在视频上进行创新。RuderM[16]等提出一种以神经网络为原理传输到视频的帧中，并以暂时一致性损失函数为约束实现视频中图像的快速艺术风格化。微软研究员[17]提出第一个端到端的在线视频风格迁移模型，实现于单风格和多风格的图像迁移网络上，实现了风格化视频的连续性和稳定性，在视频风格迁移上作出很大贡献。1.3本文主要研究内容通过对国内外研究现状及风格迁移算法的相关研究和理论结果，发现众多学者提出的风格迁移算法在实现上还存在很多问题。所以本文算法主要对基于VGGNet的风格迁移提出相应的补充和改进，最终利用VGG19卷积神经网络模型实现了图像风格艺术迁移、单种文字风格迁移和两种文字风格迁移。基于以上分析，本文主要的研究内容为：首先，实现Gatys提出的基于VGG19的卷积神经网络在图像上的风格迁移，在该算法的基础上发现问题后改进并降低损失度。在实现图像风格迁移中，输入的内容图像经过卷积神经网络后，以选定的?
本文编号：2919130
【文章来源】：沈阳师范大学辽宁省
【文章页数】：45 页
【学位级别】：硕士
【部分图文】：
Prima效果图
实闹?建。DumoulinV[9]在卷积层权重相同的条件下根据不同的样式设计不同的模型，提出多个模型可共用一个模型，实现实时风格差补并缓解空间问题。在国内的图像风格迁移中，众多学者同样在风格迁移算法上做出许多贡献。王通平[10]解决了监控人脸数据在风格迁移上的域间差异问题，区别于基于特征的域适应方法，在现有带标签的数据下进行风格迁移。姚可欣教授等[11]设计一种基于迁移学习技术的简笔画识别模型，解决样本库数据量小的问题，利用风格迁移提高了识别简笔画的识别准确度。下图为Gatys算法所产生的图像迁移效果图：图1.2基于Gatys提出算法的图像迁移化在文字风格迁移技术上的早期研究中，中文汉字字体中间的风格差异主要在于线条与结构之间的差异。字体合成的使用在以前主要基于轮廓的几何建模，而由Gatys提出的创新点[5]不仅用于图像迁移，还可运用在文字迁移上。借助人工智能技术实现文字风格的设计逐渐成为研究热点，研究人员已经研究了从图像中建模字形的方法。滕少华[12]提出一种基于生成式对抗网络的中文字体风格迁移的新方法，使用基于残差结构的生成式模型，在均方误差约束下，实现不同中文字体间一对一和多对多的风格迁移。肖奋溪[13]采用编码器-解码器的模型并引入连通桥结构、加入标签控制多种风格训练和生成文字，在个人手动控制的基础上实现圆滑过渡及小样本风格迁移。AzadiS[14]中的多内容GAN模型由GlyphNet网络用于预测粗略的字形形状、以及OrnaNet网络预测最终字形的颜色和纹理。ZhangXY[15]设计映射函数，区分了对抗损失函数和循环一致损失函数，强调多重循环一致性，无
以限域拟牛顿法为导向的风格迁移算法研究-4-需像卷积神经网络一样将手写轨迹转化为图像表示，最终提出一种基于生成对抗网络来识别和生成文字。国内外学者在文字迁移上的研究越来越多。如今，深度学习与图像的结合越来越广泛，谷歌推出的画简笔画的工具Autodraw，任意画几笔，算法便可识别出想要画什么图案。再如谷歌2015年研究并发行的“深梦”技术，展现了卷积神经网络在图像领域的不断创新。下图1.3为深梦效果图：图1.3深梦之终梦效果图从近年来层出不穷的图像及文字处理方面来看，人们在风格化算法方面有着越来越多的研究与想法。深度学习不仅在图像识别、图像处理有重大创新，尤其是在风格化迁移技术方面，深度学习为图像处理带来更多的创新。而且，基于深度学习的风格化不仅可应用在图像和文字上，现已应用在视频上进行创新。RuderM[16]等提出一种以神经网络为原理传输到视频的帧中，并以暂时一致性损失函数为约束实现视频中图像的快速艺术风格化。微软研究员[17]提出第一个端到端的在线视频风格迁移模型，实现于单风格和多风格的图像迁移网络上，实现了风格化视频的连续性和稳定性，在视频风格迁移上作出很大贡献。1.3本文主要研究内容通过对国内外研究现状及风格迁移算法的相关研究和理论结果，发现众多学者提出的风格迁移算法在实现上还存在很多问题。所以本文算法主要对基于VGGNet的风格迁移提出相应的补充和改进，最终利用VGG19卷积神经网络模型实现了图像风格艺术迁移、单种文字风格迁移和两种文字风格迁移。基于以上分析，本文主要的研究内容为：首先，实现Gatys提出的基于VGG19的卷积神经网络在图像上的风格迁移，在该算法的基础上发现问题后改进并降低损失度。在实现图像风格迁移中，输入的内容图像经过卷积神经网络后，以选定的?
本文编号：2919130
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/2919130.html
