面向任务的深度学习图像压缩编码技术

发布时间：2020-03-23 15:43

【摘要】：图像压缩是数据压缩技术在数字图像处理上的应用,目的是减少图像数据中的冗余信息,从而用更加高效的格式存储和传输数据。近年来,随着深度学习的迅猛发展,基于深度学习图像压缩方法取得了较大突破,在图像重建质量上已经超越传统方法。与此同时,深度学习在分类、分割、检测等图像理解任务上的出色表现,使其被广泛应用在无人驾驶、安防监控、社交媒体等场景。在此类场景下,经过压缩编码的图像,已不再局限于提供给人类观看,很多情况下是通过计算机视觉方法自动执行图像理解任务。这需要在图像压缩编码框架优化过程中,考虑如何在满足观看需求的同时,提升解码图像在理解任务上的性能表现。本文针对上述需求,提出面向任务的深度学习图像压缩编码框架。论文的主要创新如下:(1)设计改进深度学习图像压缩编码框架的网络结构和训练方法。使用残差密集卷积模块为基本特征提取模块,通过设计紧凑表示网络和多尺度重建网络,改进网络优化方法,实现兼容传统编码器且支持端对端训练的深度学习图像压缩框架。提出基于特征全变分约束的深度学习压缩性能优化方法,以抑制紧凑表示网络输出特征中的噪声,从而达到提高率失真性能的目的,实验结果表明,该方法图像压缩性能超越相应的传统编码方法。(2)提出基于深层特征损失的面向任务压缩方法,通过使用预训练的理解任务网络对原始输入和解码图片提取深层特征,并将深层特征的差异作为面向语义理解的损失项,利用网络训练减小重建图像与原图语义信息之间的差异。相比于仅以信号保真为目的压缩解码图片,面向任务压缩方法的解码重建图片能够在常见图像理解任务网络上获得更高的性能评价指标。(3)提出基于空间注意力的面向任务压缩优化方法,通过为紧凑表示网络增加空间权重图分支,使之能够学习原始图像在预训练分类网络的多类激活图,得到图像语义信息的空间权重,并在训练过程中用该权重图对特征全变分约束加权,从而实现更精细的噪声抑制和语义信息保留。实验表明,通过该方法进行面向任务压缩时,能获得更好的压缩率与任务性能。
【图文】：

框架图,重要性,框架

概率分布进行更准确的建模。Theis 等[10]提出了一种基于卷积自编码网络（CAE）的图像有损压缩方法，将输入图像通过编码网络得到小尺寸浮点数特征图，然后对矩阵使用逐点的取整函数进行舍入取整操作，从而达到数据降维、压缩的目的，不可导的取整函数在反向传播过程中使用平滑近似来实现梯度反传，重建时通过解码网络来还原图像的像素信息。文章使用 GSM（Gaussian scale mixtures）来估计和控制熵率，在结合图像重建损失的基础上，实现对率失真的联合优化。Rippel 等[11]使用金字塔分解的特征提取结构，自适应的码长约束，和多尺度的对抗训练，实现具有实时性的深度学习图像压缩，并且在 MS-SSIM 指标上超越了之前的深度学习压缩方法，以及传统压缩方法中效果最好的 BPG 编解码器。Li 等[12]提出了基于图像内容加权的图像压缩技术，通过引入重要性图概念，用注意力机制区分图像不同内容的重要性程度，根据重要性分配编码比特数，，并在自编码器网络结构的基础上，通过重要性图来实现码率控制。此外文章还提出基于卷积的熵编码器，能够得到比基于上下文的自适应二进制算术编码（CABAC）更加有效的编码表示，在压缩性能上达到了先进水平。

框架图,压缩编码,编码器,框架

抗网络（GAN）在极低比特率情况下生成解码图片中的纹理细节，从而达到更好的视觉效果。这种方法还支持通过语义分割标签选取图像中的某些需要保留更多原始图像真实信息的语义标签类别，从而将压缩比特数更多地分配给拥有这些类别标签的区域，对其他区域使用条件生成对抗网络进行合成，使极低比特率压缩图片主观评价得到较大的提升。哈尔滨工业大学姜峰等[15]提出卷积神经网络与传统方法图像编解码器（如JPEG）结合的端到端图像编解码框架，将图片通过卷积网络降采样去除空间冗余信息后得到图像的紧凑表示，使用传统编码器进行编码，以达到图像压缩的目的，在解码时先使用传统编解码器还原得到小尺寸图片，并进一步通过解码网络进行超分辨和去除压缩效应以得到高质量的输出图片。该方法在重建图像质量上能够超过传统编码器，以及当时主流的图像去噪和超分辨网络。Zhao 等[16]在本文思想的基础上进行了网络结构和训练策略的优化，设计了虚拟图像编解码网络（VCNN），能够模拟经过不可导的传统编码器（例如 JPEG）和后处理网络（PPNN）的输出结果，用于实现反向传播优化特征描述网络（FDNN），该方法进一步提升了此类编解码框架的性能。
【学位授予单位】：哈尔滨工业大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP18;TN919.81

【相似文献】