RGBD视频序列预处理及量化编码方法研究

发布时间：2020-03-18 10:07

【摘要】：近年来,深度相机在消费类电子和工业自动化领域得到了长足发展,对于深度图像的处理及压缩传输成为学术界研究的热点问题。本文在深度相机压缩编码项目的支持下,重点研究了深度图修复技术和RGB视频序列的高效压缩技术。针对深度相机分辨率低、包含噪声以及深度边缘模糊的问题,提出了一种基于深度图像平滑度阈值的彩色图引导深度修复算法;针对RGB视频序列的压缩性能问题,在HEVC量化编码部分提出了一种改进的双边自适应量化方法。为了提升深度数据的质量,本文对深度图像修复技术进行了研究。我们分析了在深度修复过程中加入彩色图像的指导的可行性,基于自回归模型算法提出了一种深度项引导权重调整策略,该调整规则为对深度图像平坦区域和深度边缘进行区别修复,为此,本文又提出利用图像的相对平滑度来表征图像内容的变化。综合以上工作本文提出了基于平滑度阈值的引导权重调整修复方法,该方法将计算的图像相对平滑度作为阈值,对引导权重进行修改。在RGBD测试数据集上使用定性和定量的实验结果评价了该算法,得到了较好的修复结果。深度相机中RGB视频的压缩通常采用基于混合编码框架的HEVC标准,在这一编码框架中,量化模块是引入编码失真的主要原因。本文着重于改进量化过程以提高HEVC编码性能。在详细研究了标准中的统一标量量化方法并分析量化的改进方向之后,本文提出了一种双边自适应量化方法,该方法属于系数级量化方法,包括三部分算法策略。其一,在量化编码之前提出一种新的量化扫描顺序策略,在该扫描方法下,变换系数的排列被重组,得到的新系数顺序能够很好地促进后续变换系数编码过程。其二,参考TU中每个变换系数本身系数值大小,为变换系数其赋予不同的权重,以反映其在视频重建中的差异性贡献。其三,结合以上策略构造双边因子来间接修改量化步长。在官方参考编码器HM16.0上测试了提出的算法,与HEVC标准中的均匀块级量化相比,本文的系数级量化算法有效的提高了编码性能。本论文提出的算法已经在相关数据集完成测试验证,实验结果表明算法改进的效果能够满足深度相机的前处理和压缩编码的要求。
【图文】：

度采集设备如激光测距仪、Kinect 相机、ToF 相机等都有一个距离获取的有效范围，因此绝对深度通常存在一个上限。图2.4 视频加深度数据格式。2D 彩色图像序列和对应的 8 比特深度图像序列组成[1]2.2.3 深度图修复发展历程最早，研究深度图修复的时候，将结构光技术相机和 ToF 相机获取的深度图分别处理。结构光技术相机，如 Kinect V1，获取的深度图一般会出现深度值丢失以及存在噪声的问题，而 ToF 相机获取的深度图一般是低分辨率以及包含噪声的。但是在摄像周围环境的影响下，ToF 深度图像也会出现深度丢失。随着算法研究的发展，后来

法结果和 ground truth的差异，用均方误差(Mean Square Error, MSE)来衡量。可以看到 JBU 在任何一种下采样退化的深度图修复中都有较小的 MSE。图2.5 基于插值及滤波的深度修复方法的定性比较。最邻近插值、双三次插值、高斯滤波和联合双边上采样[11]在彩色引导修复方案的研究方向上，除了滤波方法，基于能量模型的修复方法更是研究热点。把深度图像修复方法看作是能量最小化问题，，建立最优化模型，通过求解最优化问题得到修复后的高质量深度图像。最早比较主流的一种模型是 MRF 模型，该模型包括一致数据项和图像引导的平滑约束项，图像引导中考虑图像中像素点的颜色相似性，通过求解 MRF 所构建的能量最优解得到深度图像修复结果。传统的 MRF是有缺陷的，图像引导的平滑项的设计过于简单，只考虑了引导彩色图像中颜色信息，这是远远不够的，各种各样 MRF 的变体都被提出
【学位授予单位】：西安电子科技大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TN919.81

【参考文献】

相关博士学位论文 前1条

1 田虎;单目图像的深度估计[D];北京邮电大学;2015年

本文编号：2588595