基于深度学习的视频插帧技术研究

发布时间：2021-03-11 18:24

　　视频帧率转换技术是利用视频中相邻两帧之间的相关信息并应用插值的方法将中间帧重建出来的一种技术。由于该技术能在编码中去除冗余信息并降低视频传输过程中的帧率,减少视频网络传输的数据量,因此可应用于视频压缩或增强视频连续性。传统的视频插帧方法主要包括两个步骤,即光流估计和像素合成。在该方法中视频插帧技术的效果往往取决于光流估计的质量,而光流估计的过程容易受到遮挡、模糊的影响出现明显的错误。随着深度学习的发展,基于深度学习的视频插帧技术也有了新的突破,一些研究人员利用卷积神经网络尝试进行视频插帧取得了一定的成功。本文将传统方法中的光流估计与深度学习相结合,提出了一种将运动估计和遮挡处理联合建模的视频帧插值的端到端卷积神经网络模型。本文首先使用改进的FCN网络模型计算输入图像之间的双向光流,根据估计到的双向光流信息与输入图像进行warp操作得到两个翘曲图像,为解决遮挡问题,本文使用另一个GridNet网络模型重新估计图像的双向光流信息并预测插值帧的像素的可见性,最后将估计到的信息与原图像通过线性融合以形成中间帧。本文还尝试了多种损失函数,最终确定了将L1损失、感知损失、warp损失、平滑度损失等... 

【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校

【文章页数】：66 页

【学位级别】：硕士

【部分图文】：

全局感知与局部感知

卷积计算示意图

池化层示意图

【参考文献】：
期刊论文
[1]基于LMS自适应滤波器的设计[J]. 姜泉璐,汪立新,吕永佳,吴玉彬,叶军.  电子设计工程. 2011(14)



本文编号：3076874