全景视频FoV预测研究

发布时间：2021-03-31 04:46

　　近年来,随着信息技术的日新月异,多媒体技术正跨入沉浸式（Immersive）时代。全景视频作为重要的沉浸式媒体之一,也迎来了快速发展的阶段。基于用户每个时刻只能观看到全景视频局部的视场范围（Field of View,FoV）内容这一特殊的观看特性,产生了分视角全景视频传输方案,核心在于以高质量传输FoV内的全景内容,降低FoV区域外的内容传输质量。由于系统时延的存在,直接根据FoV反馈信息传输的分视角内容与用户实际FoV不完全匹配,用户在切换FoV时将观看到黑屏或低质量内容。因此,使发送端能够提前传输匹配用户FoV内容的FoV预测技术成为基于分视角传输的全景应用系统不可或缺的重要技术环节。基于不同分视角内容制作技术的分视角传输方案对FoV预测提出了差异化的需求,使FoV预测在直观的FoV视点预测技术之外进一步发展出针对分块全景视频传输的FoV分块预测技术。而如何在看似随机的用户观看行为中挖掘深层次的用户观看行为规律,并建立体现这些规律的预测模型,提高FoV预测准确性,成为FoV视点预测与FoV分块预测研究共同面临的挑战。本研究分别围绕全景视频FoV视点预测与FoV分块预测展开研究:第... 

【文章来源】：上海交通大学上海市 211工程院校 985工程院校 教育部直属院校

【文章页数】：85 页

【学位级别】：硕士

【部分图文】：

经纬图映射方式[12]

上海交通大学硕士学位论文2[8]，同时立方体映射（CubeMap）等更为多样的映射技术正在涌现[9]。映射后的全景视频经过压缩编码传输给用户，用户在接收并解码后需要进一步将内容反映射渲染到球面结构上进行呈现。用户从球心位置观看渲染于球面上的360度全景内容，如同置身于真实环境中，以3自由度（即3个转动坐标系）改变视点方向，观看四周范围内的任意区域，如图1-2所示。图1-1经纬图映射方式[12]Figure1-1EquirectangularProjection2015年7月，诺基亚发布360度全景摄像机OZO，采用了球型设计并配备8个同步摄像头。2015年底，美国运动相机制造商GoPro完成对AutopanoVideoPro公司的收购，在2017年底发布全景相机GoProFusion集成了全景视频的采集与缝合，提高了全景内容的创作效率。2017年三星发布了360度全景相机Gear360，配有一对1500万像素的鱼眼广角摄像头，可直接拍摄180度广角或360度全景图像。全景视频媒体的硬件采集设备与处理技术的不断发展有力的推动了全景内容的生产。在影视、游戏等多媒体领域外，全景媒体正在走进教育、医疗等其他领域，焕发新的活力。图1-23自由度观看全景视频示意图[1]Figure1-23DoFviewingofomnidirectionalvideo

上海交通大学硕士学位论文12量独立编码，并根据用户反馈将覆盖用户FoV的高质量分块内容和其余低质量分块内容传输给用户，减少整体传输数据量。分块全景视频的传输过程中，网络带宽条件限制了整体的传输码率，而根据用户的FoV信息还可以进行更细致的码率控制。[35]归纳了三种码率分配策略，在以高质量传输覆盖用户FoV的分块内容基础上，分别以低质量传输全部剩余分块内容，或以围绕FoV渐进式质量下降的方式传输其余分块内容，以及完全不传输其余冗余分块内容的三种质量分配方案。图2-4全景视频分块传输码率分配策略[35]Figure2-4Rateallocationstrategryofsub-picturetransmission从以上研究中可以发现，基于分块的分视角传输对全景的各区域能够进行独立的编码和传输，并进行细致的质量分配和自由的内容组合，能够灵活地根据不同的系统设计需求，制定个性化的传输方案。在用户切换FoV的过程中，可以补充或减少传输的分块内容，实现灵活的适配。接收端在获取多个全景视频分块时，需要对解码的分块内容进行同步校准和拼接，而当各分块以多流形式进行传输时，同步问题将成为接收端渲染的主要耗时环节。2.1.3分视角传输面临的问题分视角全景视频传输的核心是根据用户的FoV传输质量非均匀的全景视频内容。然而直接基于用户反馈的FoV信息决策传输内容时，由于系统延时的存在，传输的内容始终存在迟滞，用户在接收到匹配FoV的内容前先观看到质量较低的版本，造成观看体验的下降。具体来说，当采用基于分块的全景传输时，根据FoV信息决定哪些分块以高质量传输，FoV以外的分块可以如前文所述采取不同的质量分配策略。


本文编号：3110817