基于深度学习的视频超分辨率算法研究
发布时间:2020-04-16 17:15
【摘要】:视频超分辨率技术旨在将低分辨率视频转换为清晰的高分辨率视频,提升视频的质量。相关成果可以应用于通信、娱乐、遥感、监控和医学等诸多领域。视频超分辨率领域最主要的研究目标是探寻精确、高效的算法,众多研究者为此付出了艰苦的努力。大量的视频超分辨率算法被提出,但到目前为止视频超分辨率依然是一个没有解决的、充满挑战性的难题。已有的视频超分辨率算法存在一些问题。例如,浅层视频超分辨率卷积神经网络在性能和适应性方面存在不足,部分循环卷积网络对时域特性的建模能力偏弱,而基于生成对抗网络的(人脸)视频超分辨率算法给出的超分辨率结果的保真度比较低。为了解决上述疑难问题,本文进行了深入研究,提出了一些有针对性的解决方案。本文的主要研究工作包括:1.针对浅层视频超分辨率卷积神经网络存在的模型容量不足和难以处理复杂运动的问题,提出了一种基于运动补偿和深度残差学习的视频超分辨率算法。首先采用光流算法对输入视频帧进行运动估计和运动补偿预处理,然后根据预处理的结果使用一种新的深层残差卷积神经网络预测高分辨率图像。这种深层残差卷积神经网络可以保留低频信息,且有利于修复高频细节。我们的算法可以自适应地处理包括大尺度运动在内的各种复杂运动。为了验证算法的有效性,进行了相关的实验研究。实验结果表明,本文算法的性能在客观和主观两个方面均优于目前最好的单/多幅图像超分辨率算法。2.针对普通视频超分辨率循环卷积神经网络对时域依赖建模能力不足的问题,提出了一种基于非同时全循环卷积网络的视频超分辨率算法。为了充分利用时、空域信息,在系统中使用了运动补偿模块和极深的双向循环卷积层,并在融合处理方式上采用了晚融合的策略。我们通过在循环结构中增加残差连接以获得更精确的超分辨率结果。最后,我们还使用了一种新的模型集成方法将我们的方法同单幅图像超分辨方法进行了融合。实验结果表明,本文算法在客观评价指标和主观视觉效果两个方面均优于目前最好的视频超分辨率算法。3.针对基于普通生成对抗网络的单幅人脸图像超分辨率算法存在的结果真实性不足的问题,提出了一种基于身份信息指导生成对抗网络的人脸视频超分辨率算法。为了复原人脸的细节信息,使用身份特征来指导生成对抗网络的训练。我们还构建了一个两阶段卷积神经网络来提升人脸视频超分辨率结果的视觉质量。实验结果表明,本文所提出的方法在复原保真度和视觉效果两个方面优于目前最好的方法。
【图文】:
基于重建和基于样例的多巾贞人脸超分辨率方法。Jin和Bouganis[60]使用主成分逡逑分析实现多帧人脸图像的盲超分辨率。逡逑在图1.3中,我们给出了在放大倍率为x4的情况下人脸视频超分辨率算法的逡逑处理示例。图1.3(a)是低分辨率人脸视频序列中的一帧图像,图1.3(d)是对应于逡逑图1.3(a)的真实的高分辨率人脸视频帧。图1.3(b)是使用双立方插值方法对图逡逑1.3(a)中的低分辨率人脸视频帧进行上采样后所得到的结果。而图1.3(c)是使用我逡逑们在本文第5章中所提出的人脸视频超分辨率算法MI邋(基于最小均方误差损失逡逑6逡逑
?逡逑(a)邋4层的全循环卷积神经网络。逡逑Forward邋Net逦Backward邋Net逡逑ip逡逑(b)邋4层的部分循环卷积神经网络,只在网络中间使用了一个循环卷积层。逡逑Forward邋Net逦Backward邋Net逡逑
【学位授予单位】:中国科学技术大学
【学位级别】:博士
【学位授予年份】:2019
【分类号】:TP391.41;TP181
【图文】:
基于重建和基于样例的多巾贞人脸超分辨率方法。Jin和Bouganis[60]使用主成分逡逑分析实现多帧人脸图像的盲超分辨率。逡逑在图1.3中,我们给出了在放大倍率为x4的情况下人脸视频超分辨率算法的逡逑处理示例。图1.3(a)是低分辨率人脸视频序列中的一帧图像,图1.3(d)是对应于逡逑图1.3(a)的真实的高分辨率人脸视频帧。图1.3(b)是使用双立方插值方法对图逡逑1.3(a)中的低分辨率人脸视频帧进行上采样后所得到的结果。而图1.3(c)是使用我逡逑们在本文第5章中所提出的人脸视频超分辨率算法MI邋(基于最小均方误差损失逡逑6逡逑
?逡逑(a)邋4层的全循环卷积神经网络。逡逑Forward邋Net逦Backward邋Net逡逑ip逡逑(b)邋4层的部分循环卷积神经网络,只在网络中间使用了一个循环卷积层。逡逑Forward邋Net逦Backward邋Net逡逑
【学位授予单位】:中国科学技术大学
【学位级别】:博士
【学位授予年份】:2019
【分类号】:TP391.41;TP181
【相似文献】
相关期刊论文 前10条
1 朱海;王国中;范涛;杨露;;基于深度超分辨率重建的监控图像人脸识别[J];电子测量技术;2018年16期
2 付龙;吕晓琪;李婷;谷宇;;基于扩散的自适应超分辨率重建[J];现代电子技术;2017年10期
3 刘芳华;阮若林;王建峰;倪浩;;基于在线字典学习的人脸超分辨率重建[J];现代电子技术;2017年13期
4 卫小强;;基于仿生学多源图像超分辨率重建的并行优化研究[J];电脑编程技巧与维护;2017年13期
5 廖海斌;陈友斌;陈庆虎;;基于非局部相似字典学习的人脸超分辨率与识别[J];武汉大学学报(信息科学版);2016年10期
6 王宇辉;;图像超分辨率重新建立技术综述[J];科技创业月刊;2016年17期
7 贾志城;;视频超分辨率重建及其刑侦应用[J];中国有线电视;2015年08期
8 赵U,
本文编号:2629835
本文链接:https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/2629835.html