基于时域一致性约束的视频风格迁移

发布时间：2024-02-26 05:39

　　自风格迁移算法被提出以来,相关的研究层出不穷,该研究在图像渲染、上色、艺术创作以及实际应用问题中具有重要的需求。而在视频风格迁移问题中,人们发现生成的风格化视频常常出现重影、伪影以及闪烁现象,并且具有算法速度缓慢、效率低下的问题。因此,研究如何同时提高视频风格迁移算法的时域稳定性和算法速度具有重要的研究意义。传统的视频风格迁移算法基于迭代优化,通过相邻两帧之间的正反向光流来约束风格化视频的时域一致性,虽然能生成效果较好的风格化视频,但耗时较长,算法速度远远达不到实际应用的需求。而现有的基于深度学习的视频风格迁移算法,利用前馈卷积网络对视频进行风格化,这样虽然可以实时地生成风格化视频,然而生成的风格化视频的时域连续性较低,闪烁现象严重,因此,本文主要针对基于深度学习的视频风格迁移算法进行研究,并提出改进。本文主要的研究点和贡献如下:1.提出了一种基于光流约束和前馈卷积神经网络的视频风格迁移方法。本文将传统方法与基于深度学习的视频风格迁移方法相结合,利用传统方法中使用光流约束前后视频时域一致性的思想,设计时域损失函数以增强网络模型对视频相邻帧之间时域相关性的学习能力,从而提高风格化视频的连...

【文章页数】：76 页

【学位级别】：硕士

【部分图文】：

图3.3Septuplets视频组示例

后的结果做均方误差，采用逐像素计算的方法约束时域损失。该网络仅在训练过程中需要用到光流计算以约束时域损失，由于训练时已经加入了对时域一致性的限制，训练出的风格转换网络可以直接应用于各种视频序列，产生连贯的风格化视频。因此，在测试阶段直接通过风格转换网络便可以实时得到转换后的结果，....

图3.4DAVIS数据集视频示例

西安电子科技大学硕士学位论文包括90组视频，每组视频大概有70帧，这样既可以用来对比风格化视频的短时一致性，又可以对比长时一致性。从DAVIS数据集和MPI-Sintel数据集中各选取五组视频，视频样例如图3.4、图3.5所示。

图3.5MPI-Sintel数据集视频示例

视频样例如图3.4、图3.5所示。图3.4DAVIS数据集视频示例

图3.6不同风格的艺术作品示例

(c)Shipwreck(d)RainPrincess(e)CompositionVII(f)TheStarryNight图3.6不同风格的艺术作品示例

本文编号：3911415