三维视频压缩、传输、渲染相关技术的研究

发布时间：2017-03-19 08:01

  本文关键词：三维视频压缩、传输、渲染相关技术的研究，由笔耕文化传播整理发布。

【摘要】：作为计算机视觉、图形学以及多媒体技术的一种融合,三维视频技术正在快速发展并被广泛应用。不同于传统的计算机图形学技术,三维视频提供给人们的三维视觉体验是基于采集到真实世界的视频信号,并通过视角合成和渲染等技术达到的。近几年,随着传感器技术等相关领域的发展,三维视频处理技术得到了快速的发展,越来越多的视频渲染方法被设计出来以提高三维视觉体验。本论文针对基于图像渲染框架的三维视频、深度信息的处理、压缩和渲染等问题做出了相关研究。由于深度信息被广泛应用于三维视频渲染中,越来越多深度传感器被设计出来以更低的成本和更高的精度来采集深度信息。Kinect作为一种低成本深度传感器便被广泛应用于三维视频渲染中。因此,本论文首先提出了一种Kinect深度信息的修复算法,修复Kinect深度图像中缺失的信息,抑制图像中的失真和噪声,提高Kinect深度图像的质量,进而提高相应后续处理的性能。在许多应用场景中,深度信息和纹理信息需要传输到远端进行处理,如何提高深度信息的压缩性能,直接影响着整个系统的性能。本论文针对Kinect深度信息特殊的数据性质,设计了一个Kinect深度视频压缩算法来有效的进行数据压缩。我们首先设计了自适应的双边滤波器来去除Kinect深度图像中的噪声,修复因为噪声而被破坏的数据相关性。在传统的视频编码之前,我们引入2D+T预测模块来去除数据在时间域上的冗余。我们利用生成的三维物体表面参考图像来区分动态区域和静态区域。其中动态区域利用传统编码器进行压缩,而静态区域则跳过压缩,在解码端利用三维参考平面恢复重建。考虑到高动态深度信息正在替代传统的8比特深度信息,被广泛的应用于许多三维视频处理中,在本论文中,我们针对高动态范围的深度图像和视频设计了一种基于分层的编码压缩算法。在该算法中,高动态范围的深度图像在位深度平面上被分为高数据位层和低数据位层。其中,高数据位层深度图像代表了深度信息的大致变化规律,具有突出的边缘,因此,我们设计了像素域的编码方法来压缩本层信息。低数据位层深度图像包含深度信息的细微变化,我们利用传统的基于变换的压缩算法来进行压缩。低层数据的动态范围保证在8比特内,现有的图像和视频编码器均可被集成进来。作为三维视频的一种流行方式,任意视角视频被广泛的使用。人们希望在移动终端上观看三维视频。但是,由于实时传输和渲染多路纹理视频和深度视频对于带宽和计算资源的要求是无线信道和移动设备所无法承受的。因此,为了实现在移动端观看三维视频,我们提出了基于云计算框架的移动端任意视角视频渲染框架。在该框架中,我们根据用户的请求,在云端合成新视角的视频,并传输到移动端。为了降低系统的交互延时,提高视频质量,我们提出了渲染分配和码率分配算法来进一步优化用户的观看体验。
【关键词】：三维视频 深度传感器 深度图像修复 深度信息压缩 任意视角视频渲染
【学位授予单位】：中国科学技术大学
【学位级别】：博士
【学位授予年份】：2015
【分类号】：TP391.41
【目录】：

• 摘要5-7
• ABSTRACT7-18
• 第一章 绪论18-24
• 1.1 研究背景18-21
• 1.2 研究工作概述21-23
• 1.3 内容组织23-24
• 第二章 Kinect深度图像的修复24-38
• 2.1 Kinect深度图像的生成原理25-26
• 2.2 Kinect深度图像的数据特征26-28
• 2.3 深度图像的修复28-35
• 2.3.1 相关工作及背景介绍28-30
• 2.3.2 深度图像的划分30-31
• 2.3.3 平滑区域的修复31-33
• 2.3.4 边缘区域的修复33-34
• 2.3.5 实验结果34-35
• 2.4 本章总结35-37
• 2.5 未来工作37-38
• 第三章 基于2D+T预测的Kinect深度序列的压缩38-58
• 3.1 相关工作38-41
• 3.1.1 基于点云数据形式的深度图像压缩38-40
• 3.1.2 基于图像数据形式的深度图像压缩40-41
• 3.2 Kinect深度图像的误差模型41-42
• 3.3 Kinect深度序列压缩算法框架42-43
• 3.4 Kinect深度图像的改进43-47
• 3.4.1 自适应双边滤波43-46
• 3.4.2 像素填补46-47
• 3.5 2D+T预测算法47-51
• 3.5.1 2D+T预测参考帧的生成47-50
• 3.5.2 视频编码中的2D+T预测50-51
• 3.6 实验结果51-57
• 3.6.1 编码性能和编码复杂度52-56
• 3.6.2 3D重建性能比较56-57
• 3.7 本章小结57-58
• 第四章 高动态范围深度图像和序列的压缩58-84
• 4.1 相关工作58-59
• 4.2 数据特征分析59-61
• 4.3 算法框架61-63
• 4.4 分层压缩算法63-68
• 4.4.1 MSB层压缩算法63-67
• 4.4.2 LSB层压缩算法67-68
• 4.5 编码性能优化68-73
• 4.6 实验结果73-83
• 4.6.1 MSB层量化性能74-75
• 4.6.2 整体编码性能75-82
• 4.6.3 识别性能82-83
• 4.7 本章总结83-84
• 第五章 移动终端低延时高质量任意视角视频的合成84-100
• 5.1 相关工作84-85
• 5.2 算法框架85-86
• 5.3 渲染分配86-92
• 5.3.1 视角切换时延87-88
• 5.3.2 3D warping算法88-90
• 5.3.3 参考视角选择90-92
• 5.4 码率分配92-95
• 5.4.1 问题描述92-93
• 5.4.2 率失真模型93-94
• 5.4.3 码率分配算法94-95
• 5.5 实验结果95-98
• 5.6 本章总结98-100
• 第六章 论文总结及工作展望100-102
• 参考文献102-110
• 致谢110-112
• 在读期间发表的学术论文与取得的研究成果112-114

【相似文献】

中国期刊全文数据库 前10条

1 赵翠莲;施晓磊;荣坚;范志坚;;基于坐标轴投影勘察的深度图像树型分割[J];光学精密工程;2011年06期

2 许小艳;廖晓峰;刘然;易琳;张小云;;基于深度图像绘制的视图合成[J];系统仿真学报;2011年10期

3 江文婷;龚小谨;刘济林;;颜色指导的深度图像升采样算法的对比性研究[J];杭州电子科技大学学报;2014年01期

4 张涛,平西建,柳葆芳,邵美珍;一种深度图像中的表面曲率估计算法[J];数据采集与处理;2001年01期

5 谢凯,汤晓安,郝建新,蔡宣平;一种基于多幅深度图像的混合建模方法[J];小型微型计算机系统;2003年01期

6 娄嘉鹏,李德华,吴险峰,薛雷;深度图像的平滑[J];计算机与数字工程;2003年01期

7 代明睿;张晓鹏;李红军;;基于高噪声深度图像的树木模型重建[J];中国体视学与图像分析;2010年02期

8 杜霄鹏;郝建平;李星新;杨俊;;基于单一深度图像的人体姿态实时识别技术研究[J];计算机与现代化;2012年04期

9 罗莎莎;郭太良;;一种二维图像序列的深度图像生成方法[J];计算机与现代化;2012年05期

10 林鹏;张超;李竹良;赵宇明;;基于深度图像学习的人体部位识别[J];计算机工程;2012年16期

中国重要会议论文全文数据库 前2条

1 孙晓兰;赵惠洁;祝世平;;基于深度图像的边缘检测方法研究[A];2004全国光学与光电子学学术研讨会、2005全国光学与光电子学学术研讨会、广西光学学会成立20周年年会论文集[C];2005年

2 徐秀英;刘卓;王博亮;;一种基于三角函数的深度图像曲面拟合方法[A];第十二届全国图象图形学学术会议论文集[C];2005年

中国重要报纸全文数据库 前1条

1 深圳商报记者 徐明天　实习生 桂馨;电视机可借助电力线上网[N];深圳商报;2010年

中国博士学位论文全文数据库 前6条

1 苗丹;三维视频压缩、传输、渲染相关技术的研究[D];中国科学技术大学;2015年

2 李世飞;基于深度图像的三维目标识别技术研究[D];国防科学技术大学;2010年

3 丁雅斌;隐式表达三维模型流水线的关键技术研究[D];天津大学;2007年

4 许小艳;多视点视频中的视图合成[D];重庆大学;2011年

5 丁益洪;立体足迹三维曲面分割与识别[D];解放军信息工程大学;2005年

6 谭筠;结构化环境下基于信息融合的道路场景感知技术研究[D];国防科学技术大学;2014年

中国硕士学位论文全文数据库 前10条

1 杨艳;基于深度图像的三维重建方法研究[D];北京建筑大学;2015年

2 王国强;基于深度图像的人体部位识别及动作识别[D];华南理工大学;2015年

3 庞云冲;基于机器学习思想的深度图像遮挡边界检测方法研究[D];燕山大学;2015年

4 张博文;基于深度图的驾驶员头部姿态分析[D];大连海事大学;2015年

5 张云丽;基于深度图像的玉米品种识别研究[D];河北农业大学;2015年

6 斯晓华;高效低复杂度三维视频编码技术研究[D];上海大学;2015年

7 杨炳伟;基于深度图像的三维重建研究[D];北京建筑大学;2015年

8 崔颖;基于Kinect的人群识别与跟踪系统[D];复旦大学;2013年

9 罗浩;RGB-D视觉内容理解及其应用[D];华北电力大学;2015年

10 周颖;深度图像的获取及其处理[D];西安电子科技大学;2008年

  本文关键词：三维视频压缩、传输、渲染相关技术的研究，由笔耕文化传播整理发布。

，

本文编号：255718