基于深度学习的视频图像质量增强技术研究与应用

发布时间：2021-12-31 03:40

　　在传输带宽或存储受限时,视频压缩所带来的压缩噪声明显地影响了用户的主观体验。针对这种低质量的压缩视频,本文利用卷积神经网络,分别从空域,联合时空域提出解决方法。本文的主要研究工作包括:1.从超分辨的角度提高压缩视频的质量。提出一种充分融合网络多阶特征的图像超分辨率算法,充分利用神经网络各层卷积所提取的分层特征信息。实验结果表明所提出的网络模型在通用4个测试集上,与深层超分辨率网络VDSR相比,平均获得0.22 dB增益。2.在空域利用帧内像素相关性提高压缩视频的质量。提出一种基于残差块的空域单帧图像质量增强方法。利用局部残差和全局残差,设计了基于残差块的单帧网络结构。结果表明,所提出的网络模型相对于H.265/HEVC,平均获得了0.22dB的性能增益。3.联合时空域信息提高压缩视频的质量。结合视频的时域信息,提出两种多帧质量增强方法,一种是基于光流信息的LMVE,另一种是基于预测的STMVE。实验结果表明,所提出的LMVE相对于H.265/HEVC,平均获得0.38 dB的性能增益;所提出的STMVE平均获得0.39 dB的性能增益。4.设计了一套应用于交通监控视频的质量增强方法。首... 

【文章来源】：杭州师范大学浙江省

【文章页数】：75 页

【学位级别】：硕士

【部分图文】：

基于Set5数据集，针对分辨率放大2倍，D=7,9,13,20所对应的网络在200epoch内的收敛速度与性能对比

图 2-4 各方法所获得的高分辨图像的主观质量对比 图 2-5 给出了各种方法的性能与参数对比，尽管 RDN 达到了所列举方法中的最优性能，但其参数数量高达 1500 万，是 MFRN 的 8.8 倍。由于 SRDenseNet并未给出基于 Urban100 数据集，针对分辨率放大 2 倍的性能，因此在图中未绘制。但经过统计，SRDenseNet 的参数数目达 430 万，是 MFRN 的 2.4 倍。借助于递归网络的优势，MFRN 实现了参数共享，参数数目为 170 万，在同等规模参数的网络中，获得了最优性能。

杭州师范大学硕士学位论文利用多帧的视频图像质量增强算法研究27图4-2典型的时空域卷积神经网络结构训练策略：如[14]所述，在压缩视频帧之间存在非常明显的质量波动，通常两个HFs之间有几个LFs。以前的工作使用这两个HFs来帮助增强LFs，如图4-3所示，红色帧为HFs，蓝色帧为待增强的LFs。在第一组图像(GOP)中，图像播放顺序(POC)的序号为1到8，利用POC=0和POC=8的HFs来增强从POC=1到POC=7的LFs是很自然的，然而我们发现一个LF与其相邻的两个HF之间的帧距通常是不对称的，这表明LF与其中一个HF的时间相关性较低。训练集训练集POC:0123456781stGOP(GOPsize=8)HFLFLFMFHFLFLFLFLF89101112131415162ndGOP(GOPsize=8)HFLFLFHFMFLFLFLFLFPOC:图4-3所提出的训练和测试策略为了在帧距和帧质量之间进行权衡，我们使用一对HF和MF来增强中间剩余的LFs。为了增加鲁棒性，HF和MF先后顺序需要定期交换。如图4-3所示，在第一个GOP中，选取的训练数据为：POC=0（HF），POC=2（LF），POC=4（MF），在第二个GOP，选取的训练数据为：POC=12（MF），POC=14（LF），POC=16（HF）。通过选取HF和MF先后顺序不同的GOPs，训练后的网络表现出更强的鲁棒性。


本文编号：3559551