基于卷积神经网络的视频超分辨率算法研究
发布时间：2020-12-23 18:07
随着现代科技的不断进步,越来越多的高分辨率显示设备进入到日常生活中,人们对高分辨率视频资源的需求也不断增加,但是现实生活中高分辨率视频资源却是相对匮乏的。视频超分辨率算法旨在将低分辨率视频转换为高分辨率视频,能够以较低的成本来解决高分辨率视频资源缺乏的问题,所以对视频超分辨率算法的研究显得非常有意义。但目前相关算法仍然存在一些不足之处,例如,目前的算法通常通过光流估计来对视频帧间进行显式运动补偿作为预处理步骤,该类算法通常对于光流估计和运动补偿的准确性依赖较高,并且这样的预处理模块会带来较大的参数量。为了解决这些不足之处,我们进行了相关研究并从是否进行显式运动补偿两方面提出了相应的改进方法,主要的工作内容及成果包含以下几个方面:(1)目前基于光流估计的显式运动补偿视频超分辨率算法主要通过低分辨率光流来提供视频帧间亚像素级的位置对应关系,这样的做法容易导致运动补偿的准确性不够高,进而使得重建出来的视频序列中出现伪像。我们提出一种基于高分辨率光流的显式运动补偿方法,即从低分辨率视频序列中预测得到高分辨率光流,在获得更加精细光流的同时对光流进行超分辨率处理以提高光流估计和运动补偿的准确性。经...
【文章来源】：深圳大学广东省
【文章页数】：87 页
【学位级别】：硕士
【部分图文】：
不同插值
基于卷积神经网络的视频超分辨率算法研究4最近邻插值方法双线性插值方法双三次插值方法原始图像图1-1不同插值方法结果比较（2）基于重建的方法在图像的降质过程中，多幅不同的高分辨率图像都有可能降质退化成同样的低分辨率图像，因而图像超分辨率问题可以归类于非确定性（即不适定）的问题，通常需要通过利用图像先验信息来对解空间进行约束以得到最优解，使得问题的不确定性降低。也就是说该类方法的主要核心思想是将图像超分辨率问题模拟为一个优化问题，即将图像的超分辨率重建视为该问题最优化的求解，在求解过程中使用图像原有的部分先验信息作为正则化约束条件，从而实现从解集中找到最优解的目的。具体来说就是利用图像降质退化的先验信息，根据降质模型逆推成像过程，然后通过优化求解来得到高分辨率图像。通常高分辨率图像降质退化为低分辨率图像包括变形、模糊、下采样和噪声干扰等过程。对于同一个降质模型，根据不同的图像先验信息可以设计出不同的算法，相关研究学者基于自然图像统计特性先后提出了多种先验模型[9-12]，这些降质模型应用在图像超分辨率任务中取得了不错的效果。目前基于重建的图像超分辨率方法主要有Keren等人提出的非均匀插值法[13]、Shahar等人提出的迭代反投影法[14]、Ogawa等人提出的凸集投影法[15]和Schultz等人提出的最大后验概率估计法[16]等。但这些方法往往需要较大的迭代次数，因而计算成本较高。（3）基于学习的方法随着深度学习的快速发展，基于学习的图像超分辨率算法受到研究学者的广泛关注，该类方法生成的超分辨率图像在重建质量和速度方面相较于传统方法都有很大的优势。基于学习的图像超分辨率方法的主要思想是通过在包含高低分辨率图像对的数据集上使用一定的算法来学习高低分辨率?
基于卷积神经网络的视频超分辨率算法研究9第2章相关技术概述2.1超分辨率技术理论基础2.1.1超分辨率技术的定义超分辨率技术指的是对同一场景的单幅或多幅低分辨率图像通过一定的算法进行处理以生成含有少量噪声、模糊和混叠的高分辨率图像。具体来说就是通过图像处理算法将图像由低分辨率提升到高分辨率，使得到的图像具有更高的像素密度，同时包含更丰富的细节信息以及更细腻的画质。目前超分辨率技术领域较为热门的两个研究方向为图像超分辨率技术和视频超分辨率技术，两者都受到了较为广泛的关注。2.1.2图像降质模型研究图像超分辨率重建问题的重点就是研究如何从低分辨率图像中恢复出高频细节信息，对于重建出这些高频细节信息我们首先需要了解这些高频信息是如何丢失的，也就是需要了解高分辨率图像是如何降质成为低分辨率图像的。在现实生活中，人们在获取图像的过程中通常会受到许多外界因素的干扰，例如在图像的获娶存储和传输过程中都可能受到外界噪声的污染等，这些原因导致了图像质量的降低。通常图像的降质过程可用图2-1中的示意图进行描述，图像的降质过程用数学表达式可以表示为：y=MBDx+n(2-1)其中x表示原始高分辨率图像；y表示经过降质过程后得到的低分辨率图像；M表示图像的运动矩阵，主要包含平移、旋转等运动模式；B为模糊矩阵，包含运动模糊、光学模糊等；D表示的是下采样矩阵；n表示的是图像获取过程中受到的噪声。图2-1图像降质过程示意图图2-1展示了高分辨率图像降质退化中可能导致高频信息丢失的相关过程，而图像
【参考文献】：
期刊论文
[1]基于多尺度特征残差学习卷积神经网络的视频超分辨率方法[J]. 林琦,陈婧,曾焕强,朱建清,蔡灿辉. 信号处理. 2020(01)
博士论文
[1]基于学习的图像超分辨率重建方法研究[D]. 岳波.西安电子科技大学 2018
硕士论文
[1]基于深度学习的图像超分辨率重建算法研究[D]. 段君毅.郑州大学 2019
本文编号：2934124
【文章来源】：深圳大学广东省
【文章页数】：87 页
【学位级别】：硕士
【部分图文】：
不同插值
基于卷积神经网络的视频超分辨率算法研究4最近邻插值方法双线性插值方法双三次插值方法原始图像图1-1不同插值方法结果比较（2）基于重建的方法在图像的降质过程中，多幅不同的高分辨率图像都有可能降质退化成同样的低分辨率图像，因而图像超分辨率问题可以归类于非确定性（即不适定）的问题，通常需要通过利用图像先验信息来对解空间进行约束以得到最优解，使得问题的不确定性降低。也就是说该类方法的主要核心思想是将图像超分辨率问题模拟为一个优化问题，即将图像的超分辨率重建视为该问题最优化的求解，在求解过程中使用图像原有的部分先验信息作为正则化约束条件，从而实现从解集中找到最优解的目的。具体来说就是利用图像降质退化的先验信息，根据降质模型逆推成像过程，然后通过优化求解来得到高分辨率图像。通常高分辨率图像降质退化为低分辨率图像包括变形、模糊、下采样和噪声干扰等过程。对于同一个降质模型，根据不同的图像先验信息可以设计出不同的算法，相关研究学者基于自然图像统计特性先后提出了多种先验模型[9-12]，这些降质模型应用在图像超分辨率任务中取得了不错的效果。目前基于重建的图像超分辨率方法主要有Keren等人提出的非均匀插值法[13]、Shahar等人提出的迭代反投影法[14]、Ogawa等人提出的凸集投影法[15]和Schultz等人提出的最大后验概率估计法[16]等。但这些方法往往需要较大的迭代次数，因而计算成本较高。（3）基于学习的方法随着深度学习的快速发展，基于学习的图像超分辨率算法受到研究学者的广泛关注，该类方法生成的超分辨率图像在重建质量和速度方面相较于传统方法都有很大的优势。基于学习的图像超分辨率方法的主要思想是通过在包含高低分辨率图像对的数据集上使用一定的算法来学习高低分辨率?
基于卷积神经网络的视频超分辨率算法研究9第2章相关技术概述2.1超分辨率技术理论基础2.1.1超分辨率技术的定义超分辨率技术指的是对同一场景的单幅或多幅低分辨率图像通过一定的算法进行处理以生成含有少量噪声、模糊和混叠的高分辨率图像。具体来说就是通过图像处理算法将图像由低分辨率提升到高分辨率，使得到的图像具有更高的像素密度，同时包含更丰富的细节信息以及更细腻的画质。目前超分辨率技术领域较为热门的两个研究方向为图像超分辨率技术和视频超分辨率技术，两者都受到了较为广泛的关注。2.1.2图像降质模型研究图像超分辨率重建问题的重点就是研究如何从低分辨率图像中恢复出高频细节信息，对于重建出这些高频细节信息我们首先需要了解这些高频信息是如何丢失的，也就是需要了解高分辨率图像是如何降质成为低分辨率图像的。在现实生活中，人们在获取图像的过程中通常会受到许多外界因素的干扰，例如在图像的获娶存储和传输过程中都可能受到外界噪声的污染等，这些原因导致了图像质量的降低。通常图像的降质过程可用图2-1中的示意图进行描述，图像的降质过程用数学表达式可以表示为：y=MBDx+n(2-1)其中x表示原始高分辨率图像；y表示经过降质过程后得到的低分辨率图像；M表示图像的运动矩阵，主要包含平移、旋转等运动模式；B为模糊矩阵，包含运动模糊、光学模糊等；D表示的是下采样矩阵；n表示的是图像获取过程中受到的噪声。图2-1图像降质过程示意图图2-1展示了高分辨率图像降质退化中可能导致高频信息丢失的相关过程，而图像
【参考文献】：
期刊论文
[1]基于多尺度特征残差学习卷积神经网络的视频超分辨率方法[J]. 林琦,陈婧,曾焕强,朱建清,蔡灿辉. 信号处理. 2020(01)
博士论文
[1]基于学习的图像超分辨率重建方法研究[D]. 岳波.西安电子科技大学 2018
硕士论文
[1]基于深度学习的图像超分辨率重建算法研究[D]. 段君毅.郑州大学 2019
本文编号：2934124
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/2934124.html
