基于感兴趣区域率失真优化的视频压缩编码通信系统设计

发布时间：2020-06-10 22:49

【摘要】：基于感兴趣区域模式的视频压缩编码近年来成为视频压缩、计算机视觉领域研究的热点课题。从广义上来讲,视频中的感兴趣区域指视频帧中引起人们注意的像素部分区域。它通常包括视频中运动的目标、色彩变化的区域。感兴趣区域视频编码的关键思想在于,对这部分区域以较小的量化步长进行压缩编码,以获得较高的编码精度。而对于非感兴趣区域部分,则采用较大的量化步长进行粗糙编码,以降低整体编码输出的比特。依据人体视觉系统的要求,感兴趣区域视频编码的目的是将特定的感兴趣区域在解码端得以清晰的呈现,而对于非感兴趣区域,人们的关注点并不在这部分,因此并没有必要完全保证这部分的编码质量。换句话说,在某种特定应用场景下,为尽可能减小编码速率,仅保留感兴趣区域部分的编码精度以达到不影响人们对视频内容理解的目的。本文设计了一套基于感兴趣区域率失真优化的视频编码通信系统,该系统包括感兴趣区域提取模块、感兴趣区域视频编码率失真模块与感兴趣区域视频流传输模块。设计这套系统的目的在于实现低比特视频流通信同时不影响对视频内容的理解。围绕这一系统展开,本文主要研究这三大模块中的三个核心技术:感兴趣区域提取技术、感兴趣区域视频编码的率失真优化技术、感兴趣区域视频流在无线网络环境下的传输技术。其中,感兴趣区域提取技术主要研究如何从视频帧数据中提取感兴趣区域,它主要指运动的区域以及一些特定的目标物体。这一部分区域作为视频帧的前景部分,而其它区域则作为背景部分。感兴趣区域视频编码的率失真优化技术主要解决视频编码中的速率和失真权衡的问题。即给定一组视频序列,使得速率受限制的约束条件下,该组序列的失真达到最小。在解决这一优化问题时,如何建立恰当准确的速率失真模型是其中的关键部分。速率失真模型可对感兴趣区域编码模式下的速率、失真进行数学描述。通过速率失真模型列出率失真优化问题的目标函数以及约束条件,并对其进行求解,得到视频组序列每帧的比特分配方案,进而设计速率控制策略。感兴趣区域视频流传输技术主要以异构无线网络为背景,通过对视频帧中编码单元的编码信息进行封装,组成网络层的传输单元并将这些传输单元分配到不同属性的无线信道进行传输。异构无线网络的传输的模式仍基于端到端的传输模式,然而终端具有多家乡接入属性。通常上讲,终端具有多元化网络接入单元接口,可同时接入不同属性的无线网络。感兴趣区域编码模式下的视频流传输力图保证包含感兴趣区域信息的传输单元能够具有较少的传输失真与解码失真。同时,视频流的传输需满足实时性要求。对于超过时延截止部分的视频流分组则会被丢弃以节约网络资源。此外,传输过程中引入信道差错控制编码技术,通过引入额外监督位降低误码率,并尽可能满足感兴趣区域部分信息得以完整的解码与重建。本文针对上述内容,对感兴趣区域视频编码的关键技术进行了深入详细的研究,主要内容包括:(1)研究了感兴趣区域提取技术。结合传统的数字图像处理理论以及当前流行的深度学习理论。本文分别提出了两种新的感兴趣区域提取检测方法:级联模型算法与基于文本主题模型的边界框修正算法。其中,级联检测算法四个级联步骤:全局运动补偿,运动块提取,多层像素分割和模型更新。前面两个步骤提取前景运动块并形成运动遮罩,后面两个步骤移除属于运动遮罩内背景的像素,并更新背景模型的颜色分布。另外,提出了基于块到像素的检测思路以实现检测灵活性。所提出的方法的另一个好处是它可以嵌入视频编解码器中以进行实时ROI检测和编码。实验结果表明,该方法在检测精度和时间消耗方面都实现了改进的性能。文本主题模型的边界框修正算法属于机器学习算法。它包含两个阶段:模型训练与验证。在训练阶段,它将检测目标图像的特征点信息转换成文本信息。在文档主题生成模型(Latent Dirichlet Allocation,LDA)的基础上,本文提出了一个具有单词共现先验的主题模型,其中图像特征之间的共现信息被充分利用。在验证阶段,本文提出了一种基于边界框(Anchor-box)的修正算法,该算法可以从一些传统算法中快速检测与预训练主题模型相对应的检测结果,并具有快速检测时间。对各种数据集的实验表明,所提出的方法可以在效率和计算成本方面提高检测性能。它对于颜色,光照,尺度等不同的物体也具有鲁棒性。有趣的是,所提出的方法可以与许多快速但有失准确性的感兴趣区域提取算法相结合,并增强了系统模型的灵活性。(2)研究了感兴趣区域视频压缩的率失真优化与速率控制技术。本文提出了一种基于DCT残差系数的混合分布与径向基函数神经网络的适合感兴趣区域编码模式下的速率失真模型。通过将编码单元分类为不同的深度、纹理特征来对其速率失真进行建模。在此之后,利用所提出的速率失真模型,列出率失真优化问题的目标函数以及约束条件,并根据凸优化理论对其进行求解。同时,设计针对感兴趣区域编码模式下的速率控制策略。通过实验验证,所提出的方法在解码重构的视觉质量,速率失真性能和比特率精度等方面取得了相应的改进。它针对感兴趣区域部分取得了较高的编码精度,同时保持编码缓冲器稳定输出,失真满足在可控范围内。(3)研究了感兴趣区域编码模式下视频流在无线异构网络环境下的传输技术。本文提出了一种基于感兴趣编码模式视频传输框架,该框架基于多家乡接入终端的异构无线网络环境。它包含感兴趣区域提取模块和帧分离器的模块,其中编码单元被分类封装到网络传输单元中。该框架还包括监视每个通信路径状态的信道监视器,并将反馈信号发送至视频流控制器来进行分组调度控制。本文提出了用于信道状态预测的深度学习方法。为了解决视频流分组传输问题,本文设计了适用于感兴趣区域编码模式下的视频流传输的速率失真模型,并制定传输调度策略。该策略传输延迟和失真之间寻求平衡点。它还保证具有ROI内容的数据包在具有足够带宽和低损耗的路径上进行传输。通过与其他传输方法的比较的模拟实验,验证了所提出的方案在视频传输质量,端到端延迟以及播放流畅度方面均取得了良好的效果。
【图文】：

框架图,感兴趣区域,视频压缩编码,框架图

逦绪论逦逡逑这取决于编码单元划分的策略。将划分好的ＣＴＵ通入感兴趣区域提取模块（ＲＯＩ逡逑Ｅｘｔｒａｃｔｉｏｎ邋Ｍｏｄｕｌｅ），可以标识ＣＴＵ中的ＣＵ结构，确定哪些ＣＵ是包含感兴趣信逡逑息的，哪些是包含非感兴趣信息的，即分为ＲＯＩ－ＣＵ与ｎＲＯＩ－ＣＵ。逡逑１

框架图,感兴趣区域,速率控制,视频编码

逦ｄ．５）逡逑其中ｃ／（0为／时刻实际的编码速率，ｍ（0为／时刻的信道速率。感兴趣区域视频逡逑编码速率控制流程如图３所示，输入视频通入编码器进行压缩编码，，输出视频流逡逑Ｉｆ逡逑
【学位授予单位】：北京交通大学
【学位级别】：博士
【学位授予年份】：2019
【分类号】：TN919.81;TN914

【相似文献】