采用双网络结构的压缩视频超分辨率重建

发布时间：2020-12-21 06:23

　　在实际应用中,为了节省带宽和方便存储,图像和视频通常被下采样和压缩,而降质的图像与视频无法满足人们的实际需求。针对这一问题,采用了一种双网络结构的超分辨率重建方法,首先建立下采视频与压缩后的低分辨率视频的映射关系,然后建立质量增强的压缩视频与原始视频的映射关系,最终在输出端可以得到质量提升的视频帧。在网络中,采用密集残差块来提取压缩视频中丰富的局部分层特征,并结合全局残差学习恢复视频中的高频信息。在压缩环节,采用高性能视频编码来验证所提算法的有效性。实验结果表明,相比于主流的视频编码标准和先进的超分辨率重建算法,所提方法能有效提升编码视频的率失真性能。 

【文章来源】：电讯技术. 2020年01期 北大核心

【文章页数】：6 页

【部分图文】：

本文方法框架

式中:F1(yL)是从输入视频yL中提取的特征，W1和B1分别表示权重和偏置滤波器，符号*表示卷积操作。第一层提取的特征映射作为随后密集残差块的输入。为了更好地利用层次特征，提取了局部密集特征之后，采用了特征融合的策略。2.1.1 密集残差块

本文采用Set14[5-6]来验证卷积网络的收敛，检测网络结构的合理性和有效性。其中，Set14中的信息和训练集中的完全不同。本文以QP=40为例，在去压缩过程中，Set14的平均峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)与训练中迭代次数的关系曲线如图3(a)所示，在超分辨率重建过程中的关系曲线如图3(b)所示。从曲线图可以看出，本文的数据集可以确保卷积神经网络在去压缩和超分辨率两个过程中有效收敛。为了验证本文方法的有效性，本文对多个序列进行实验，其中包括不同分辨率和纹理信息各异的视频，并与视频编码标准HEVC对比。根据码率(单位为kb/s)、视频峰值信噪比(PSNR)以及结构相似性指数(Structural Similarity Index,SSIM)的对比结果，Walk序列采用压缩标准HEVC时，当重建视频帧PSNR值为29.19 dB、SSIM值为0.837 3时，码率为1 362.72 kb/s;而采用本文的方法，当重建视频帧PSNR值为29.44 dB、SSIM值为0.847 2时，码率为1 263.84 kb/s。这两种方法的PSNR值、SSIM值相差不大，本文方法可以比HEVC标准降低更多的码率。

【参考文献】：
期刊论文
[1]基于感兴趣区域的HEVC压缩性能优化[J]. 林国川,何小海,李向群,于成业.  电讯技术. 2016(01)



本文编号：2929356