提高三维视频深度编码性能的技术研究

发布时间：2017-06-26 23:16

  本文关键词：提高三维视频深度编码性能的技术研究，，由笔耕文化传播整理发布。

【摘要】：三维视频(Three Dimensional Video,3DV)能够给观众带来当前场景的深度信息,从而更加接近人的现实感受,因此受到了广泛关注。多视点视频加深度(Multi-view Video plus Depth, MVD)具有良好的标准兼容性,并且利用基于湃度图像的绘制(Depth Image-Based Rendering, DIBR)技术能够在解码端任意视点位置合成虚拟视点,实现自由立体电视应用。因此,被运动图像专家组(Moving Pictures Experts Group, MPEG)选为新一代3DV视频编码标准的数据格式。相比于视频图像,深度图中含有大面积平坦区域,仅在物体边缘部分呈现出尖锐截止现象,并且深度图不直接用于观看,而是主要用于解码端的虚拟视点合成。由于新引入的深度信息也需要进行编码,并利用带宽有限的传输设备传输至解码端,这对于编码器的编码效率提出了更高要求。本文重点研究了3DV中深度信息的高效编码方法,主要研究内容如下：由于目前消费级显示器解码计算能力的限制,MPEG对编解码器处理的3DV数据量做出了限制。考虑到观众在观看双目视频时,最终感知的视频质量主要受到其中质量较强一路视频的主导,为了降低3DV的数据量并提高编码效率,本文提出,对于三个视点的情况,将左路和右路视点的视频与深度信息进行空间1/2下采样,解码端再进行上采样恢复至原始分辨率。由于中间视点将一直用于解码端的虚拟视点合成,因此不对其进行采样处理。此外,在编码中间视点时,将边路视点进行上采样用作中间视点的参考信息,以降低视点间冗余。所提方法在满足数据量限制条件的前提下,提高了3DV的编码效率。现有编码器中变换量化操作使得深度图中尖锐的物体边缘变得模糊,降低了虚拟合成视点质量。为了恢复深度图中的尖锐边缘信息,本文基于深度图的特性以及深度图与对应视频图像的相关性,提出了一种基于三边滤波器的边缘重建方法。所提算法结合深度图边缘两侧像素较为平滑的特点,对于三边滤波器中滤波参考像素集合的基准点选取方法进行了改进。同时为了避免引入新滤波像素值,提出利用中值滤波代替原有的加权计算方法。所提方法明显提高了深度图边缘的恢复质量和虚拟合成视点质量。现有编码器一般采用率失真优化(Rate Distortion Optimization, RDO)准则,通过对每一个宏块(Macro-Block, MB)遍历所有候选模式选取最佳模式。虽然提高了编码效率,但是却大大增加了编码复杂度。为了降低深度编码复杂度,本文提出了一种基于分级B预测结构的快速编码方法。该方法利用分级B预测结构中较高时间层(Temporal Level, TL)内编码帧与参考帧之间时间间隔短,时域相关性强,且编码帧中采用大尺寸编码模式MB比例高的特点,结合深度图由大面积平坦区域和尖锐边缘组成的特性,对处于不同TL内的编码帧分别制定了不同强度的候选模式精简策略,跳过不必要的小尺寸编码模式。所提算法在保证编码性能前提下,有效降低了编码复杂度。对于处于深度图平坦区域中的MB,由于采用不同编码模式产生的量化残差编码比特数经常为零,以及失真较小且相等,模式判决的结果主要由模式头信息编码比特数决定。为了进一步降低编码复杂度,提出了一种率失真性能不变的早期截止算法。所提算法中,所有候选模式按照其对应最小头信息比特数计算的固有最小率失真代价函数值升序排列。在完成每一个候选模式的率失真代价函数值计算之后,将更新之后的最小率失真代价函数值与下一候选模式的固有最小率失真代价函数值进行比较,以判断是否终止当前模式判决过程。所提算法使得编码复杂度大大降低,且编码率失真性能不发生变化。为了提高深度图I帧的编码效率,提出一种I帧MB模式跳过编码方法。该方法充分考虑了深度图像含有大面积平坦区域,且平坦区域内空间相邻MB编码模式之间存在较强相关性的特点。在此基础上,提出利用空间相邻已编码MB模式预测当前MB模式,并对MB模式与预测模式相等的MB进行模式跳过编码。另外,为了降低现有标准在编码平坦区域MB残差系数过程中引入的指示信息冗余,进一步提出帧内MB跳过编码方法。它可以同时跳过平坦区域中MB模式与残差系数的编码,进而降低编码冗余。所提两种方法位于MB模式选择之后的MB编码阶段,因此对重建帧质量没有任何影响。利用所提方法可以有效提高深度图像的编码效率。针对利用现有帧内编码算法编码深度图中含有边缘的MB效率较低的问题,提出了一种利用视频与深度图之间相关性的边缘跳过编码方法。该方法利用聚类算法从当前深度编码MB及其参考像素部分对应的视频区域获得边缘信息,以此作为当前深度编码MB及其参考像素的分割边缘信息,然后利用所得分割边缘信息将参考像素映射到当前编码MB作为预测值。为了滤除聚类方法获得的分类信息中存在的噪点或者毛刺对预测的干扰,提出了双向扫描滤波方法。利用所提边缘跳过帧内预测方法,可以跳过对边缘MB中复杂边缘的编码,甚至边缘MB完全被跳过不编码。所提方法不仅提高了深度图的编码质量,也明显提高了合成视点图像的主观质量。
【关键词】：三维视频编码 深度编码 深度边缘重建 深度快速编码 深度帧内编码
【学位授予单位】：西安电子科技大学
【学位级别】：博士
【学位授予年份】：2015
【分类号】：TN919.81
【目录】：

• 摘要5-7
• ABSTRACT7-18
• 第一章 绪论18-46
• 1.1 引言18-20
• 1.2 3DV系统介绍20-29
• 1.2.1 3DV的数据格式20-21
• 1.2.2 3DV数据的获取21-23
• 1.2.3 3DV的编码技术23-25
• 1.2.4 虚拟视图的绘制25-27
• 1.2.5 3DV的显示27-29
• 1.3 3DV相关标准的发展历程29-31
• 1.4 3DV编码技术的研究现状31-42
• 1.4.1 3DV中视频部分重要编码技术介绍32-35
• 1.4.2 3DV中深度部分重要编码技术介绍35-42
• 1.5 论文研究内容及研究成果42-46
• 第二章 利用前/后处理方法的深度编码46-72
• 2.1 引言46-48
• 2.2 利用下/上采样和非对称预测的3DV编码方法48-59
• 2.2.1 3DV数据量要求48-49
• 2.2.2 利用下/上采样和非对称预测的3DV编码方法49-52
• 2.2.3 实验结果及分析52-59
• 2.3 利用深度图和视频信息相关性的深度边缘重建方法59-70
• 2.3.1 深度编码失真对合成视点图像质量的影响分析59-60
• 2.3.2 利用深度与视频信息相关性的边缘重建方法60-64
• 2.3.3 实验结果及分析64-70
• 2.4 小结70-72
• 第三章 3DV深度快速编码方法研究72-92
• 3.1 引言72-73
• 3.2 基于RDO的MB编码模式判决73-75
• 3.3 基于分级B预测结构的快速深度编码方法75-84
• 3.3.1 分级B预测结构及其与LSM的关系75-76
• 3.3.2 基于分级B预测结构的快速算法76-81
• 3.3.3 实验结果及分析81-84
• 3.4 率失真性能不变的快速深度编码方法84-91
• 3.4.1 深度MB模式判决过程分析84-87
• 3.4.2 率失真性能不变的快速算法87-88
• 3.4.3 实验结果及分析88-91
• 3.5 小结91-92
• 第四章 高效深度图帧内编码方法研究92-112
• 4.1 引言92-93
• 4.2 帧内预测编码方法介绍93-95
• 4.3 基于MB模式相关性的深度帧内跳过编码方法95-101
• 4.3.1 I帧MB相关性分析95-98
• 4.3.2 帧内跳过编码方法98-100
• 4.3.3 实验结果及分析100-101
• 4.4 利用视频与深度图相关性的深度图帧内编码算法101-111
• 4.4.1 深度图与视频图像中物体形状相关性分析102-103
• 4.4.2 边缘跳过帧内预测编码103-107
• 4.4.3 实验结果及分析107-111
• 4.5 小结111-112
• 第五章 总结与展望112-116
• 5.1 研究内容及成果总结112-114
• 5.2 存在的问题以及展望114-116
• 参考文献116-128
• 致谢128-130
• 作者简介130-131

【相似文献】

中国期刊全文数据库 前10条

1 左一帆;安平;张兆杨;;基于图割的高质量深度图获取方法[J];电视技术;2011年15期

2 张艳;安平;张秋闻;王奎;张兆杨;;恰可察觉深度差异模型的深度图优化方法[J];光电子.激光;2012年07期

3 左宇鹏;;基于深度图压缩的边界自适应上采样方案[J];计算机与现代化;2014年05期

4 杨超;安平;何宛文;王健鑫;张兆杨;;一种用于深度图编码的虚拟视失真估计模型[J];光电子.激光;2014年07期

5 温宇强,李德华;多视角深度图融合方法综述[J];计算机与数字工程;2003年04期

6 叶长明;蒋建国;詹曙;S.Ando;;不同姿态人脸深度图识别的研究[J];电子测量与仪器学报;2011年10期

7 左一帆;安平;马然;沈礼权;张兆杨;;深度图时域一致性增强[J];光电子.激光;2014年01期

8 朱波;蒋刚毅;张云;郁梅;;面向虚拟视点图像绘制的深度图编码算法[J];光电子.激光;2010年05期

9 周娟;李勇平;黄跃峰;;基于强度图和深度图的多模态人脸识别[J];计算机工程与应用;2012年25期

10 李思宇;李胜;王衡;汪国平;;利用深度图优化的自然光束体构建与绘制[J];计算机辅助设计与图形学学报;2011年07期

中国重要会议论文全文数据库 前3条

1 陈东;杨生鹏;庄严;王伟;;基于视觉信息的三维激光点云渲染与深度图构建[A];第二十九届中国控制会议论文集[C];2010年

2 刘伟锋;张卓;王延江;;基于光线衰减的深度获取方法[A];中国自动化学会控制理论专业委员会B卷[C];2011年

3 张帅;付宏杰;;基于Kinect的多点触控系统研究与实现[A];第六届全国信号和智能信息处理与应用学术会议论文集[C];2012年

中国博士学位论文全文数据库 前9条

1 李贺建;三维视频中基于FPGA的实时深度估计研究与应用[D];上海大学;2015年

2 马祥;提高三维视频深度编码性能的技术研究[D];西安电子科技大学;2015年

3 邓慧萍;3D视频的深度图优化与深度编码方法研究[D];华中科技大学;2013年

4 高凯;立体视频深度图提取及深度序列编码技术研究[D];吉林大学;2013年

5 罗雷;基于深度图绘制的三维视频编码技术研究[D];浙江大学;2013年

6 霍智勇;自由视点视频深度图估计的关键技术研究[D];南京邮电大学;2013年

7 韦虎;三维外形测量系统中的数据处理关键技术研究[D];南京航空航天大学;2010年

8 张秋闻;自由视点视频深度编码关键技术研究[D];上海大学;2012年

9 程光;人机交互系统中手势和姿势识别算法的研究[D];清华大学;2014年

中国硕士学位论文全文数据库 前10条

1 李海坤;基于彩色和深度的前景分割研究[D];山东大学;2015年

2 张岳欢;3D视频编码中深度信息优化及场景背景编码技术研究[D];哈尔滨工业大学;2015年

3 曹广昊;立体视频系统中深度传播算法的研究[D];山东大学;2015年

4 丁焱;基于深度图的虚拟视点绘制中空洞填补技术研究[D];哈尔滨工业大学;2015年

5 马姝颖;基于视点合成的深度图编码技术研究[D];电子科技大学;2015年

6 王旭;面向绘制质量的深度图压缩感知研究[D];上海大学;2015年

7 卞玲艳;基于深度图的2D转3D视频算法的研究[D];电子科技大学;2015年

8 王亚峰;3D-HEVC深度图预处理与误码掩盖技术研究[D];西安电子科技大学;2014年

9 白树斌;基于RGB-D图像的深度图增强问题研究[D];青岛大学;2015年

10 李涛;单目视图与多目视图的深度图恢复方法研究[D];清华大学;2009年

  本文关键词：提高三维视频深度编码性能的技术研究，由笔耕文化传播整理发布。

本文编号：487916