基于深度神经网络的视觉媒体风格转换方法研究

发布时间：2021-03-02 12:27

　　随着物质生活的丰富,人们对精神文化生活的需求越来越强烈。艺术创作与娱乐消费作为精神文化的重要一部分,也得到了越来越多的关注。传统艺术和娱乐作品的创作严重依赖于相关的专业人员,需要耗费巨大的人力成本和时间成本。近几年,人工智能技术得到了巨大的发展,如何利用人工智能技术进行艺术和娱乐内容创作也成为了一个重要的研究问题。在传统计算机视觉领域和图形学领域,该问题也曾经吸引了众多研究者的关注。这不仅是因为其背后深厚的理论价值,也因为其广泛的应用前景和巨大的潜在商业价值。最近,Gatys,Johnson等人开始尝试将深度神经网络技术应用于图片的艺术风格转换,并取得了巨大的成功。这些基于深度神经网络的风格转换算法不仅克服了传统方法只能处理特定纹理风格的缺陷,其产生的风格转换结果也具有很强的语义对应性。但对于不同的视觉媒体格式,目前这些方法仍然面对以下几点挑战:1)对于图片,目前基于前馈网络的风格转换方法单个模型只能处理单个纹理风格;2)对于视频,如果直接将图片的风格转换网络应用到视频的风格转换,其转换的结果会伤害原始视频的时间连续性并产生抖动的效果;3)对于立体内容,目前仍然没有算法能够有效处理立体... 

【文章来源】：中国科学技术大学安徽省 211工程院校 985工程院校

【文章页数】：125 页

【学位级别】：博士

【部分图文】：

图１．１视觉媒体三种主要形式的发展历史??１??

１．１．１风格转换的定义??给定一张内容图片和风格图片，风格转换旨在使用风格图片的纹理风格对??内容图片进行重渲染的同时保证不修改其原始的语义结构。例如在图１．２中，左??图为德国图宾根市的一张普通河边彩屋图，中图为著名画家梵高的艺术作品“星??空”，右图则是风格转换算法根据梵高“星空”的风格对左图进行风格化的结果，使??其看上去仿佛是由梵高亲自作画一般，具有和“星空”相同的艺术风格。整个过程??完全自动化，不需要任何人工的干预。??内容图片?风格图片?风格化结果??图１．２风格转换的定义??风格转换其实可以被看作是传统纹理合成（Ｔｅｘｔｕｒｅ?Ｓｙｎｔｈｅｓｉｓ）技术的一种??特殊形式，背后的核心问题都是先对风格或者纹理图片进行统计建模，然后在某??些约束下进行重取样。只不过对于传统纹理合成，它要求采样结果中两个相邻样??本之间的边界必须具有平滑过渡；而对于风格转换，则是要求采样结果保持内容??图片的语义结构。??风格转换也和传统计算机图形学中的非真实感渲染（Ｎｏｎ－Ｐｈｏｔｏｒｅａｌｉｓｔｉｃ?Ｒｅｎ－??ｄｅｒｉｎｇ

?近几年，随着４Ｇ和智能手机的发展，大量的直播平台和短视频应用（如??图１．３所示）变得非常流行。如何将风格转换推广到视频的实时艺术风格??化便成为了一个非常重要的研究课题。一种最简单的视频风格转换方法是??直接将图片的风格化方法逐帧地应用在视频上，然而Ｒｕｄｅｒ等人［８?２２］证明??这会使得风格化后的结果产生强烈的抖动效果，严重破坏原始视频的时序??连续性。实际上对于视频的风格化来说，本质上存在一个相互矛盾的问题：??为了保证原始纹理风格的保真度，现有图片风格化算法会对原始内容图片??的纹理细节进行加强，然而这也会导致即使不同帧图片之间有一个非常微??小的光照、运动等变化，其产生的风格化结果也会有非常大的差异。为了??解决这个问题，Ｒｕｄｅｒ等人［２２１首次引入光流的信息对相邻两帧或者多帧的??风格化结果进行约束

【参考文献】：
硕士论文
[1]基于图像风格变换的边信息隐写技术研究[D]. 孙曦.中国科学技术大学 2017



本文编号：3059260