视频图像在线超分辨率重构技术研究

发布时间：2021-03-07 16:31

　　视频图像超分辨率重构算法是提高图像传感器分辨率的重要手段。随着硬件成本以及需求环境的增加,传统的超分辨率重构算法存在重构质量较低以及适用范围有限的缺点。与单帧图像重构不同的是,视频图像需要利用多帧图像的时空信息,因此视频图像重构相对来说更有难度。针对视频图像中出现遮挡和大型运动时配准失真的问题,进一步增强图像的重构质量和细节信息,提出一种基于循环图像配准的视频图像超分辨率重构算法,采用非局部卷积提取图像特征,集成图像去噪和隐式运动估计提高配准精度;引入时间相关性和注意力机制融合配准特征,结合金字塔残差网络和并行卷积重构高分辨率视频图像;通过包含像素损失和纹理损失的组合损失函数训练网络。由于目前重构算法的人眼视觉感知质量和时间一致性较差,提出一种基于生成对抗网络的视频图像超分辨率重构算法,生成网络采用轻量级的图像配准网络,结合全局上下文信息配准相邻图像,弥补像素丢失区域,采用扩张卷积提取全局信息;通过改进的判别网络以及时间一致性损失增强生成图像的视觉连贯性,引入全文信息损失在配准失真时计算图像相似性约束网络训练。通过综合公共数据集在Pytorch平台上训练和测试提出算法的重构质量,实验结... 

【文章来源】：长春理工大学吉林省

【文章页数】：75 页

【学位级别】：硕士

【部分图文】：

深度细节恢复网络VSRnet[29]和CVSRnet[30]中采用Druleas算法[31]进行运动补偿

第1章绪论7增长，因此无法有效地将它们的方法应用于长视频序列。Wang[39]为了更好地恢复图像中的纹理信息，通过额外的先验信息生成空间变换参数进行特征变换生成更加逼真的图像纹理。为了减少上采样过程中带来的信息损失采用亚像素混合卷积上采样，利用3D卷积融合特征。为了进一步提高显式运动估计的准确度，进一步采用由粗估计到精确估计的金字塔光流估计网络[40-41]，如图1.7所示。网络参数相较于FlowNetS网络减少了96%，将其应用于图像超分辨率重构中可以提高配准精度和速度。但是将基于光流估计的配准方法用于视频图像超分辨率重构需要较高的运动量估计以及配准精确度，当存在大型运动的情况下，很难在单个分辨率范围内显式或隐式执行运动补偿，造成重构质量的显著下降。图1.7金字塔光流估计网络4)基于隐式运动估计的重构网络由于显示运动补偿的估计精确度和计算量的限制，出现了许多隐式运动补偿方法将运动估计和运动补偿合二为一。Niklaus[42]将运动核预测网络应用于视频帧插值，通过将光流估计和图像融合合并到统一的框架中，如图1.8所示。图1.8帧插值重构网络文献[43]中为了降低计算内存提出可分离卷积，通过估计两个可分离的一维卷积核近似二维卷积核。但是运动核的大小受到运动限制，运动幅度越大的运动则需要更大的运动量估计核，同时会增加计算负担和内存占用，实际应用中受到限制。Young[44]

第1章绪论7增长，因此无法有效地将它们的方法应用于长视频序列。Wang[39]为了更好地恢复图像中的纹理信息，通过额外的先验信息生成空间变换参数进行特征变换生成更加逼真的图像纹理。为了减少上采样过程中带来的信息损失采用亚像素混合卷积上采样，利用3D卷积融合特征。为了进一步提高显式运动估计的准确度，进一步采用由粗估计到精确估计的金字塔光流估计网络[40-41]，如图1.7所示。网络参数相较于FlowNetS网络减少了96%，将其应用于图像超分辨率重构中可以提高配准精度和速度。但是将基于光流估计的配准方法用于视频图像超分辨率重构需要较高的运动量估计以及配准精确度，当存在大型运动的情况下，很难在单个分辨率范围内显式或隐式执行运动补偿，造成重构质量的显著下降。图1.7金字塔光流估计网络4)基于隐式运动估计的重构网络由于显示运动补偿的估计精确度和计算量的限制，出现了许多隐式运动补偿方法将运动估计和运动补偿合二为一。Niklaus[42]将运动核预测网络应用于视频帧插值，通过将光流估计和图像融合合并到统一的框架中，如图1.8所示。图1.8帧插值重构网络文献[43]中为了降低计算内存提出可分离卷积，通过估计两个可分离的一维卷积核近似二维卷积核。但是运动核的大小受到运动限制，运动幅度越大的运动则需要更大的运动量估计核，同时会增加计算负担和内存占用，实际应用中受到限制。Young[44]

【参考文献】：
博士论文
[1]基于深度学习的视频超分辨率算法研究[D]. 李定一.中国科学技术大学 2019



本文编号：3069443