沉浸式视频流的交互式传输
发布时间：2021-02-19 03:45
现如今,网络技术的日新月异屡次刷新着人们对于感知体验的传统认知,注重真实感与交互性的双重提升,将是下一代数字媒体发展的大势所趋。在此发展过程中,沉浸式视频凭借其所提供的身临其境之感,成为了最具代表性的一类媒体。在形式各异的沉浸式视频中,多视点视频和360°视频具有非常灵活的交互能力,因其能够更好地支持用户成为“视角”掌控者而备受关注。然而,交互式沉浸感的不断提升是以多维视频数据的海量传输为代价,这就为其在线即时业务的发展造成了阻碍。本文以当前网络的承载能力为研究前提,以最大限度提升用户的观看质量和流畅体验为最终目标,针对多视点视频和360°视频的鲁棒传输、实时交互及高效压缩等关键问题开展工作,取得了以下创新性研究成果:（1）针对交互式多视点视频流传输的鲁棒性问题,提出了面向有损网络的纹理图和深度图联合封装方法,并考虑多种丢包事件和码率级别,理论分析了不同封装方法的性能和差异。实验结果表明,相比独立封装,该方法在单视点重构及虚拟视点合成上分别取得了2.32dB和1.55dB的质量提升,增强了多视点视频流传输的鲁棒性。（2）针对交互式多视点视频流传输的实时性问题,构建了下载的视点集合及其对...
【文章来源】：北京交通大学北京市 211工程院校 教育部直属院校
【文章页数】：126 页
【学位级别】：博士
【部分图文】：
图１．１沉浸式视频的一些典型应用：（ａ）多视点裸眼３Ｄ电视，（ｂ）?２０１６年里约奥运会全景??
??眼３Ｄ电视的诞生（如图１．１（ａ）），使多视点视频得以在更多的领域中广泛应用。不??啻如此，２０１３年由上海交通大学无锡研宄院和２０１７年由嘉楠耘智等公司相继研制??成功的８２寸超大屏幕３Ｄ电视和全球首款裸眼３Ｄ特高清（８Ｋ）电视，使裸眼３Ｄ技术??成功走进千家万户。Ｆａｃｅｂｏｏｋ在２０１４年的一项重要举措，即以２０亿美元的价格收??购ＶＲ技术公司Ｏｃｕｌｕｓ，促使沉寂已久的ＶＲ迎来了迸发式的发展。可以预见，诸??如《头号玩家》般的沉浸式娱乐即将成为可能。根据华为关于面向ＶＲ业务的白皮??书所述［６］，３６０°视频是最先蓬勃发展的在线ＶＲ应用。如图１．１（ｂ）所示，２０１６年里??约奥运会和２０１８年平昌冬奥会上，３６０°全景视频直播的大规模投入，即是对此发??展趋势的有力印证。一言以蔽之，沉浸式视频在未来网络视频发展的过程中将占??据主导地位。??沉浸式视频存在三要素：多维性、交互性以及实时性。多维性是指用户的感??知环境综合了空间多维度信息
的发展赢得了空间，也创造出了巨大价值。清华大学戴琼海院士团队在国际上首??次提出了视觉场理论，建立了视角、光照和事件的关系，搭建起了光照－视角协同??采集装置平台，其重建精度在国际评测中位居首位，如图１．２（ａ）所示。北京交通??大学赵耀团队构建了多视点视频水平和环形采集平台，由１０台高清相机组成阵列，??从不同角度同步实现视点采集，如图１．２（ｂ）所示。上海交通大学无锡研宄院研发??了首台国产“裸眼３Ｄ”多视点电视。中国品牌ＴＣＬ、海信、创维和超多维等公司亦??各自研制出了裸眼自由视点显示设备。??■■■■??■?Ｍｇ??Ｉ?Ｗ?＼?ＨａａＭ??（ａ）?（ｂ）??图１．３?（ａ）看到科技黑曜石，（ｂ）看到科技直播软件??Ｆｉｇ?１．３?（ａ）?Ｋａｎｄａｏ?Ｏｂｓｉｄｉａｎ，?（ｂ）?Ｋａｎｄａｏ?Ｌｉｖｅ??近年来，得益于对更强体验深度的全面支持，３６０°视频已经逐渐引起了国??内外的广泛关注。为了解决传输瓶颈，学术界和工业界也竞相开展有关研宄。??在?２０１７年，ＭＰＥＧ?制订了?全方位媒体应用格式（Ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ?Ｍｅｄｉａ?Ａｐｐｌｉｃａｔｉｏｎ??Ｆｏｒｍａｔ
【参考文献】：
期刊论文
[1]Error-Resilient Multi-view Video Coding Based on End-to-End Rate-Distortion Optimization[J]. GAO Pan,PENG Qiang,WANG Qionghua. Chinese Journal of Electronics. 2016(02)
本文编号：3040554
【文章来源】：北京交通大学北京市 211工程院校 教育部直属院校
【文章页数】：126 页
【学位级别】：博士
【部分图文】：
图１．１沉浸式视频的一些典型应用：（ａ）多视点裸眼３Ｄ电视，（ｂ）?２０１６年里约奥运会全景??
??眼３Ｄ电视的诞生（如图１．１（ａ）），使多视点视频得以在更多的领域中广泛应用。不??啻如此，２０１３年由上海交通大学无锡研宄院和２０１７年由嘉楠耘智等公司相继研制??成功的８２寸超大屏幕３Ｄ电视和全球首款裸眼３Ｄ特高清（８Ｋ）电视，使裸眼３Ｄ技术??成功走进千家万户。Ｆａｃｅｂｏｏｋ在２０１４年的一项重要举措，即以２０亿美元的价格收??购ＶＲ技术公司Ｏｃｕｌｕｓ，促使沉寂已久的ＶＲ迎来了迸发式的发展。可以预见，诸??如《头号玩家》般的沉浸式娱乐即将成为可能。根据华为关于面向ＶＲ业务的白皮??书所述［６］，３６０°视频是最先蓬勃发展的在线ＶＲ应用。如图１．１（ｂ）所示，２０１６年里??约奥运会和２０１８年平昌冬奥会上，３６０°全景视频直播的大规模投入，即是对此发??展趋势的有力印证。一言以蔽之，沉浸式视频在未来网络视频发展的过程中将占??据主导地位。??沉浸式视频存在三要素：多维性、交互性以及实时性。多维性是指用户的感??知环境综合了空间多维度信息
的发展赢得了空间，也创造出了巨大价值。清华大学戴琼海院士团队在国际上首??次提出了视觉场理论，建立了视角、光照和事件的关系，搭建起了光照－视角协同??采集装置平台，其重建精度在国际评测中位居首位，如图１．２（ａ）所示。北京交通??大学赵耀团队构建了多视点视频水平和环形采集平台，由１０台高清相机组成阵列，??从不同角度同步实现视点采集，如图１．２（ｂ）所示。上海交通大学无锡研宄院研发??了首台国产“裸眼３Ｄ”多视点电视。中国品牌ＴＣＬ、海信、创维和超多维等公司亦??各自研制出了裸眼自由视点显示设备。??■■■■??■?Ｍｇ??Ｉ?Ｗ?＼?ＨａａＭ??（ａ）?（ｂ）??图１．３?（ａ）看到科技黑曜石，（ｂ）看到科技直播软件??Ｆｉｇ?１．３?（ａ）?Ｋａｎｄａｏ?Ｏｂｓｉｄｉａｎ，?（ｂ）?Ｋａｎｄａｏ?Ｌｉｖｅ??近年来，得益于对更强体验深度的全面支持，３６０°视频已经逐渐引起了国??内外的广泛关注。为了解决传输瓶颈，学术界和工业界也竞相开展有关研宄。??在?２０１７年，ＭＰＥＧ?制订了?全方位媒体应用格式（Ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ?Ｍｅｄｉａ?Ａｐｐｌｉｃａｔｉｏｎ??Ｆｏｒｍａｔ
【参考文献】：
期刊论文
[1]Error-Resilient Multi-view Video Coding Based on End-to-End Rate-Distortion Optimization[J]. GAO Pan,PENG Qiang,WANG Qionghua. Chinese Journal of Electronics. 2016(02)
本文编号：3040554
本文链接：https://www.wllwen.com/kejilunwen/xinxigongchenglunwen/3040554.html
