基于自编码结构与梯度保序的视频风格转换

发布时间：2021-01-24 20:02

　　在近几年中,深度学习取得了很大的成功,针对不同类型的学习方法,提出了不同的学习方法,包括有监督学习、半监督学习和非监督学习。计算机视觉领域也有了突飞猛进的发展,视频风格转换作为计算机视觉领域的一个分支研究方向,同样进展迅速。视频风格转换源于图像的风格转换,图像风格转换通过预训练好的卷积神经网络来提取自然图像的内容信息,通过Gram矩阵来提取图像的纹理特征。视频风格转换与其类似,目的是使风格化视频在空间结构上与原始视频相似,在纹理信息方面与风格图相似。在视频风格转换领域,最关注的研究方向是风格化视频的去闪烁算法。Ruder等人以迭代的方式,通过加入光流估计,引入时间一致性损失,约束了风格化视频的时间一致性,达到了去闪烁的目的。Huang等人通过前馈神经网络的方式,对视频风格化进行了加速。证明前馈神经网络可以学习视频的时间一致性。但由于在约束相邻风格化视频帧间的时间一致性时,采用的是原始视频的光流进行的约束,这使得训练过程存在误差。因为风格化视频帧在空间结构上发生了扭曲,因此与原始视频评估出的光流并不适配。针对这一弊端,本文采用自编码器的思想,将网络结构分为编码网络和解码网络两部分,编码器... 

【文章来源】：西安电子科技大学陕西省 211工程院校 教育部直属院校

【文章页数】：67 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
符号对照表
缩略语对照表
第一章 绪论
    1.1 选题意义与选题背景
    1.2 风格转换技术的研究现状及分析
        1.2.1 基于传统方法的图像风格转换
        1.2.2 基于神经网络的图像风格转换
        1.2.3 基于神经网络的视频风格转换
    1.3 本文的主要研究内容以及创新
第二章 基于卷积神经网络的视频风格转换理论基础及模型
    2.1 基于迭代的图像风格转换
        2.1.1 图像内容特征和风格特征提取
        2.1.2 内容损失和风格损失的设定
        2.1.3 迭代优化
    2.2 基于前向网络的图像风格转换
        2.2.1 基于前向网络风格转换思想提出
        2.2.2 网络结构与损失函数
        2.2.3 网络训练方法
    2.3 基于卷积神经网络的视频风格转换
        2.3.1 基于迭代的视频风格转换
        2.3.2 基于前向网络的视频风格转换
    2.4 光流评估算法
        2.4.1 光流评估原理
        2.4.2 Flownet2光流算法原理
    2.5 总结
第三章 基于自编码结构与梯度保序的视频风格转换算法设计
    3.1 网络结构及损失函数
        3.1.1 网络结构
        3.1.2 损失函数
    3.2 自编码网络结构及改进的时间损失函数
        3.2.1 自编码网络结构
        3.2.2 时间损失函数
    3.3 梯度保序损失函数
    3.4 实验结果及分析
        3.4.1 视频风格转换实验结果
        3.4.2 解码网络重构性能验证
        3.4.3 视频时间一致性验证
    3.5 本章总结
第四章 算法实现及定性分析
    4.1 算法实现
        4.1.1 实验数据库
        4.1.2 算法实现细节
    4.2 评估方法及定性分析
        4.2.1 风格化视频帧对比
        4.2.2 评价标准定义及对比
    4.3 总结
第五章 总结和展望
参考文献
致谢
作者简介



本文编号：2997846