自由视点三维视频系统关键技术研究

发布时间：2017-11-01 15:34

  本文关键词：自由视点三维视频系统关键技术研究

  更多相关文章： 自由视点三维视频 紧凑表示 运动信息预测 自由巡航

【摘要】：随着自由视点三维显示技术的发展,新一代的自由视点三维视频得到了越来越广泛的关注。国际标准组织MPEG已经率先开始了针对自由视点内容的新一代自由视点三维视频技术的研究工作。最新的裸眼三维显示设备能同时呈现成百个视点,这些视点的排列密集,呈现场景的视角大,还能使观看者通过在屏幕前走动进行平滑的视点切换,提供了极好的裸眼三维视频体验。用于这类裸眼三维显示设备显示的三维视频内容称为自由视点三维视频。由于自由视点三维视频呈现的场景的视角范围大,所以大多采用的是弧形排列的摄像机采集得到,而传统的三维视频大多是一维平行排布的摄像机采集得到。自由视点三维视频中的一类是超多视点三维视频,不同于传统的三维视频内容的视点数大多是小于20个视点,而超多视点三维视频内容要多于100个视点。如果同时存储或者传输成百个视点的自由视点内容,对存储和传输带宽都是极大的挑战,所以还有一类自由视点三维视频是自由巡航式的三维视频,这类三维视频的特点是个数少(10),视点间隔大,通过利用虚拟视点绘制方法绘制出成百个虚拟视点来通过裸眼的三维显示设备进行呈现。由于自由视点内容相比于传统的三维视频在视点数量以及视点排列方式发生了很大的变化,对自由视点三维视频系统的各个环节的研究成为了新一代三维视频技术研究新课题。本文主要研究自由视点三维视频系统中的自由视点三维视频的表达,自由视点内容的高效压缩以及自由视点内容的呈现这三个主要的环节。自由视点三维视频的表达中,本文主要研究重点是自由视点三维视频的紧凑表示,本文通过实验揭示了基于多视点纹理加深度(MVD)格式表达的自由视点三维视频,在特定的码率条件下,可以通过对编码视点数和虚拟视点合成数的折中,减少自由视点三维视频的表达视点数,达到对自由视点三维视频内容的紧凑表示的目的。自由视点内容的高效压缩环节中,本文主要研究的是面向自由视点内容的视点间预测技术,其中包括任意摄像机排布的视差矢量导出技术和任意摄像机排布的视点间运动矢量预测技术。本文对任意摄像机排布下视点间运动信息关系模型进行了构建,从而提出了一套高效的视点间运动信息预测方案。这套视点间运动信息预测方案相比于3D-HEVC中视点间运动信息预测方案,为非一维平行排布时的序列提供了更为准确的视点间对应关系,从而能在压缩任意摄像机排布的自由视点内容时达到较高的视点间预测效率。该方案中的任意摄像机排布的视差矢量导出技术和任意摄像机排布的视点间运动矢量预测技术都能提供较大的编码性能增益,其中任意摄像机排布的视差矢量导出方案有约4.88%的性能增益,任意摄像机排布的运动矢量预测有约7.16%的性能增益,两项技术的总体性能增益达到了平均8.77%。任意摄像机排布的视差矢量导出技术和视点间运动矢量预测技术作为三维视频编码技术中基本的纹理图像编码技术,为后面研究更加复杂高效的任意摄像机排布的多重预测技术奠定了基础。自由视点内容的呈现环节中,本文的主要研究内容是面向自由巡航应用的自由视点内容呈现,包括提出了将超多视点内容与自由巡航应用结合的自由巡航式呈现方式,提出了一套利用球面线性插值对虚拟摄像机的朝向进行插值以及利用样条插值方法对虚拟摄像机的位置进行插值的自由巡航路径规划方案。本文通过主观实验发现,对虚拟摄像机朝向进行球面线性插值后带来的巡航呈现的主观视觉感受要好于让虚拟摄像机朝向不连续变化时的巡航体验。总的来说,本文的研究工作围绕自由视点三维视频系统的各个环节开展,在自由视点三维视频系统的表达,压缩和呈现三个方面开展了分析和研究,研究工作形成了一套较为完善的自由视点三维视频系统中关键环节的实现方案。
【关键词】：自由视点三维视频 紧凑表示 运动信息预测 自由巡航
【学位授予单位】：浙江大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TN919.81
【目录】：

• 致谢4-5
• 摘要5-7
• ABSTRACT7-14
• 1 引言14-25
• 1.1 自由视点三维显示设备15-18
• 1.1.1 空分式自由视点显示设备16-17
• 1.1.2 时分式自由视点显示设备17-18
• 1.2 三维视频标准化发展简述18-21
• 1.3 新一代自由视点三维视频应用21-23
• 1.4 本文研究内容和成果23-25
• 2 自由视点三维视频的紧凑表示25-36
• 2.1 自由视点三维视频的表达26-30
• 2.2 自由视点内容的紧凑表示因素分析30-31
• 2.3 自由视点内容紧凑表示实验研究31-35
• 2.4 结论35-36
• 3 面向自由视点内容的视点间预测技术36-55
• 3.1 视点间运动信息关系模型37-42
• 3.1.1 基于一维平行排布的视点间运动信息预测38-39
• 3.1.2 基于任意排布的视点间运动信息预测39-42
• 3.2 3D-HEVC视点间运动信息预测技术42-46
• 3.2.1 3D-HEVC中的视差矢量导出方法43-44
• 3.2.2 3D-HEVC中的视点间运动矢量预测简介44-46
• 3.3 任意摄像机排布的视点间预测技术46-50
• 3.3.1 任意摄像机排布的视差矢量导出方法46-48
• 3.3.2 任意摄像机排列的视点间运动矢量预测48-50
• 3.4 性能测试结果与分析50-53
• 3.5 小结53-55
• 4 面向自由巡航应用的自由视点内容呈现55-75
• 4.1 研究背景介绍55-57
• 4.2 问题分析57-63
• 4.2.1 虚拟摄像机参数插值可实现性分析59-60
• 4.2.2 自由巡航路径规划的分析60-62
• 4.2.3 自由巡航主观感受因素分析62-63
• 4.3 自由巡航式呈现的路径规划63-68
• 4.3.1 摄像机朝向插值64-66
• 4.3.2 摄像机位置插值66-68
• 4.4 自由巡航式呈现主观实验设计68-72
• 4.5 实验结果分析72-74
• 4.6 小结74-75
• 5 总结与展望75-77
• 参考文献77-82
• 作者在攻读硕士学位期间的科研成果与科研工作82-83
• 1、国际标准提案82
• 2、国内标准采纳提案82
• 3、国家发明专利82-83
• 4、参加的科研工作83

【相似文献】

中国期刊全文数据库 前10条

1 王恩达;裴以建;和燕;;三维视频中实现多个视频同时播放[J];计算机系统应用;2011年08期

2 张申;王维东;赵亚飞;吴祖成;王曰海;张明;;基于三维离散余弦变换的体三维视频数据压缩[J];浙江大学学报(工学版);2012年01期

3 ;新书推介:《二维和三维视频处理及立体显示技术》[J];电视技术;2010年05期

4 付丽秋;;三维视频技术在仿真实验中的应用[J];实验技术与管理;2013年12期

5 ;《二维和三维视频处理及立体显示技术》[J];电视技术;2010年S1期

6 李勇;卢世江;宋芳;王辉;金洪震;;真实场景的三维视频采集及显示[J];光子学报;2011年11期

7 ;国外动态[J];广播与电视技术;1999年01期

8 ;关于第二代AVS标准[J];电视技术;2009年S1期

9 姜波;;用RPC为三维视频广告增光添彩[J];电视字幕(特技与动画);2007年07期

10 王建文;物体外型的三维视频测量系统[J];西北轻工业学院学报;1996年02期

中国重要会议论文全文数据库 前2条

1 李勇;卢世江;宋芳;王辉;金洪震;;真实场景的三维视频采集及显示[A];中国光学学会2011年学术大会摘要集[C];2011年

2 张守祥;魏书田;张岩;;基于可重构并行设计的三维视频合成[A];2013年中国智能自动化学术会议论文集（第五分册）[C];2013年

中国博士学位论文全文数据库 前3条

1 姚超;三维视频的视点绘制与编码[D];北京交通大学;2016年

2 赵寅;三维视频视觉质量及增强处理研究[D];浙江大学;2013年

3 周洋;面向三维视频传输的差错控制技术研究[D];宁波大学;2013年

中国硕士学位论文全文数据库 前10条

1 潘云峰;结合视觉显著性的三维视频增强和视频重定位技术研究[D];宁波大学;2015年

2 王昕;三维视频滤波及预测编码技术研究[D];电子科技大学;2015年

3 王清;自由视点三维视频系统关键技术研究[D];浙江大学;2016年

4 张申;体三维视频数据压缩技术研究[D];浙江大学;2010年

5 陈铭;基于运动信息的二维到三维视频转换技术研究[D];哈尔滨商业大学;2011年

6 程清栋;三维视频编码传输中的错误隐藏[D];宁波大学;2012年

7 孙越;面向网络传输的三维视频错误隐藏[D];宁波大学;2013年

8 刘爱玲;三维视频传输中的错误隐藏方法研究[D];宁波大学;2014年

9 孙阳;二维视频转换为三维视频的关键技术研究[D];上海交通大学;2008年

10 李子会;三维视频多视点编码技术研究[D];河北经贸大学;2012年

，

本文编号：1127464