三维视频编码优化技术研究

发布时间：2020-09-16 09:32

　　 视频作为人类传播信息的重要手段,早已在人们的日常生活、工作、学习、娱乐、交际等方面成为不可或缺的一部分。随着科技的进步,人们对于视频质量的需求也在日益增长,这促使了视频编码技术不断地变革与发展。相较于传统的二维视频,多视点立体视频能够提供更具“浸入感”的观感体验,应用前景十分广阔。随着对视频分辨率需求的提高以及多视点的引入,互联网的传输以及编码单元的处理能力承受着日益严峻的挑战。为了规范多视点视频编码、提高效率,由国际电工委员会(ISO/IEC)以及国际电信联盟组织(ITU-T)联合组织并成立了 3D视频编码联合小组(JCT-3V),制定推出了新一代多视点立体视频编码标准(3D-HEVC)。与上一代多视点立体视频编码标准(Multi-view VideoCoding,MVC)相比,比特率平均有50%的减小。然而,新一代编码标准的计算复杂度也成倍增长,这使得新标准难以直接推广实际应用。因此,对3D-HEVC中的关键技术进行深入分析,并依据其内在机理进行性能优化,具有十分重要的理论与现实意义。在此背景下,本文展开了对3D-HEVC算法的优化研究。首先,从虚拟视点合成机制入手,对纹理/深度图与合成视点的依赖性关系以及基础视点与依赖视点间的依赖性关系进行深入分析,并在此基础上提出了纹理/深度图、基础/依赖视点间的优化比特分配方案;其次,结合三维视频编码视间预测新特性提出一种低复杂度码率控制策略,不仅对初始量化参数决策机制进行研究,同时结合缓冲区约束条件提出了上层图像组级和帧级的优化比特分配方案;然后,通过合成视点失真产生机理的研究,提出了基于虚拟视点失真估计模型的率失真优化算法,降低了深度图编码复杂度;最后,通过分析深度图像素对虚拟视点质量的影响,提出一种快速深度图编码策略,获得了编码效率与编码质量的平衡方法。本文提出的算法在达到码率控制的同时也能取得较高的编码效率,而且保证了缓冲区在编码过程中不发生溢出,以及在保证虚拟合成视点质量的前提下,显著降低深度图编码时间复杂度。本论文主要的创新性工作包括:(1)基于视间依赖性的视点间优化比特分配技术针对多视点纹理及对应深度图序列的联合编码资源分配问题提出了基于虚拟合成视点失真估计模型的解决方案。首先,针对解码重建的纹理视频及对应的深度图序列的平均失真、码率之间的关系,对多视点纹理视频率失真模型及深度图序列率失真进行建模;其次,提出合成视点失真模型,并结合纹理深度失真模型得到虚拟视点-纹理深度图联合码率失真模型;然后,通过研究基础视点对依赖视点的质量影响,推导出依赖视点失真模型,基于上述两个失真模型将纹理/深度、基础/依赖视点的联合码率分配方案构建成一个约束条件下的优化问题;最后,利用牛顿迭代法求解并指导视点间资源分配达到最大化所有视点质量的目标。(2)缓冲区约束条件下的码率控制算法保证满足缓冲区约束条件是码率控制的重要目标之一,即应能保证在编码过程中缓冲区不会发生溢出,这需要码率控制在编码过程中能够及时地根据缓冲区状态的反馈调整比特分配,以产生能够满足需要的码流。本文首先对原有的初始量化参数决策算法进行分析,基于三维视频编码新特性引入视间依赖性,提出了改进的初始量化参数策略,以及结合视间依赖性的码率控制算法。该算法充分地考虑缓冲区约束条件下面向质量平滑的比特分配方案,在达到码率控制的同时得到较高的编码效率。(3)基于合成视点失真估计的深度图编码算法深度图用于指导虚拟视点合成而非人眼观看,因此为了提高深度图编码效率,在深度图编码率失真优化过程中,需要获得深度图失真引起的合成视点失真。当前3D-HEVC标准技术中,在深度图编码过程中引入虚拟视点合成过程,从而得到当前编码深度图失真引起的合成视点失真,这一过程引入了巨大的编码开销。为了降低深度图编码复杂度,本文对3D-HEVC中虚拟视点合成的机理进行研究,提出了基于插值的合成视点失真估计模型,替代复杂度过高的虚拟视点合成过程,用于指导深度图编码的率失真优化。(4)一种低复杂度深度图率失真优化算法通过对虚拟视点合成过程的分析,发现前景、背景纹理图像素值的差异会对由深度图像素失真造成的合成视点失真产生较大影响,为此基于此提出了深度图像素分类方法,进而基于深度像素分类把深度图编码单元(CodingTreeUnits,CTU)分为基于预测编码的CTU和基于视点合成编码的CTU两类,更进一步地对深度图编码进行混合率失真优化。本文提出的深度图率失真优化算法在保证虚拟合成视点编码质量的同时,显著地降低了深度图序列编码复杂度。本文将视间依赖性与码率控制有机地结合起来,实现了优化的比特分配,准确的码率控制,同时,通过深度图与合成视点优化的研究达到更高效的深度图编码,是对三维视频编码的有益探索。
【学位单位】：大连理工大学
【学位级别】：博士
【学位年份】：2018
【中图分类】：TN919.81
【部分图文】：

为标准数据格式，本文余下部分研宄内容均基于该数据格式。逡逑１．４．２三维视频的采集逡逑三维纹理视频信号采用如图１．２所示的直线形、环形和二维平面形等不同的摄像机逡逑排列方式拍摄得到［３５］。不同视点的视频信号需要进一步进行标定（ＣａＵｂｍｔｋｍ）和同步逡逑（Ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ）等预处理操作进行校正。标定操作为了确定摄像阵列中各个摄像机机的逡逑相机参数（包括内部参数和外部参数）［５（３］；同步操作为了保证摄像阵列中所有摄像机在同逡逑一时刻进行视频采集。逡逑■邋１１邋Ｉ邋Ｉ邋ｎ逡逑一＾＇邋一＂邋＇邋＂邋￣￣＇逡逑N邋＾逦Ｊ逡逑图１．２三维视频摄像机阵列不同的排列方式逡逑Ｆｉｇ．邋１．２邋Ｄｉｆｆｅｒｅｎｔ邋ａｒｒａｎｇｅｍｅｎｔ邋ｏｆ邋３ＤＶ邋ｃａｍｅｒａ邋ａｒｒａｙ逡逑－７－逡逑

从而可以降低摄像机阵列的空间密集程度，大大减少了视频数据量。ＤＩＢＲ技逡逑术通过结合深度数据与摄像机参数，将参考视点投影到世界坐标系中，再将世界坐标系逡逑中的点投影回虚拟位置生成虚拟视点。如图１．３所示，基于ＤＩＢＲ技术的虚拟视点渲染逡逑方法主要包括３Ｄ变换、图像融合和空洞填补等技术。三维变换本质上是坐标变换，计逡逑算复杂度低，并且可以提供高质量的虚拟图像，迅速成为视点渲染领域的研究热点［８６＿９１］。逡逑左视点逡逑

本文编号：2819698