全景视频的压缩及后处理
发布时间：2020-07-07 19:10
【摘要】：随着人们对虚拟现实(Virtual Reality,VR)的兴趣与日俱增,各种商业化的虚拟现实产品在市场中所占的比重越来越大,全景视频作为当前VR的主要内容源而备受关注。对比普通视频而言,全景视频具有高分辨、多视角、存储数据量大的特点。为了适应视频的传输,利用经典的编码标准对全景视频进行压缩时,我们通常会牺牲它的质量来节省码率,而低质量的全景视频严重影响了用户沉浸式的体验。因此,本文提出将卷积神经网络应用到全景视频压缩及后处理的工作中,以有效提高全景视频的质量。本文主要完成了以下三个工作。(1)全景视频的质量对于用户的观看体验至关重要,尤其是由某个区域的全景视频映射成的当前视口的视频。因此,本文基于卷积神经网络中的生成对抗网络提出了 Panorama-GAN网络,其中生成模型使用U-NET网络,损失函数通过VGG19计算特征差异而形成。然后本文利用此网络分别对压缩后的全景视频以及具有不同映射关系的当前视口的视频训练生成模型,以提高全景视频的质量。最后通过实验证明了网络对当前视口视频质量的提升具有更出色的表现。(2)改善低质量帧可参考与其相似的高质量帧。因此,本文考虑到全景视频的帧与帧之间具有很大相似性的特点,进一步提出不平等编码方案,将立方体投影的全景视频编码成高、低质量两个版本的视频。接下来在传输过程中,以一个视频组(Group of Pictures,GOP)为单位交叉传输视频,最后利用一个四层卷积神经网络,将低质量帧和相邻高质量帧的特征提取并结合,经过特征增强、映射和图像重建低质量视频帧,实验证明我们的方案提高了整个全景视频的质量。(3)由于通常采用基于视口方案传输全景视频,即传输当前视口的高质量视频流和其它视口的低质量视频流。因此,用户转头时,网络延迟会造成转头画面不清晰的现象。本文在基于兼容HEVC的Tile压缩全景视频解决方案的基础上,提出二次压缩方案:在服务器端,低质量视频由高质量视频再一次压缩形成,或者进行下采样后再压缩形成;客户端收到全景视频后,压缩当前视口高质量视频并送入卷积神经网络训练,最后用生成的模型提升其它视口低质量的视频。实验结果证明了方案的有效性,并且下采样方案在低码率传输中显示出了更好的性能。
【学位授予单位】：北京交通大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.41;TP183
【图文】：
１．２．１全景视频的处理过程逡逑全景视频的制作流程主要分为图像采集、拼接、映射等步骤，应用到现实生活逡逑中则需要进一步编码、传输、解码Ｍ的处理。如图１－２所示，全景视频的处理过程逡逑包括以下两个部分：逡逑全钬视频制作过程逡逑ｒ＿．逦，邋「＾！声－ａ定邋ｉ￣Ｍ邋音＾码邋ｉ逦逡逑Ｊ—逦逦逡逑？念＇？逦Ｋ知画涵｛逦逡逑全欺视频传输过程逦「逦逦逡逑Ｉ逦，逦Ｉ逦，逡逑卜，…ｉＩ邋Ｉ邋？邋ｉ邋Ｉ邋ｆｆ｜逡逑！逦＼逦Ｉ邋Ｉ丨以Ｉ丨邋＾邋■悘邋逦？邋｜逡逑Ｉ逡逑图１－２全景视频的处理过程框架逡逑Ｆｉｇｕｒｅ邋１－２邋Ｐｒｏｃｅｓｓｉｎｇ邋ｆｒａｍｅｗｏｒｋ邋ｏｆ邋ｐａｎｏｒａｍｉｃ邋ｖｉｄｅｏ逡逑３逡逑
逦引言逡逑（１）统一质量的映射（如图１－３所不）逡逑■ＰＩ逦ａ）世界地图投影逡逑｜－＃＾；逦＾ｒ＃ｗ：邋Ｍ逡逑Ｎｏｒｔｈ邋Ｐｏｌｅ逦Ｎｏｒｔｈ邋Ｐｏｌｅ逡逑自…，．．．．．．．．．．—ｉ，逦ｉ逡逑Ｓ0：Ｂｏ，ｅ逡逑ｂ）切片分割投影逦ｃ）立方体投影逡逑ｉｌ逡逑ｄ）十二面体投影逡逑图１－３四种统一质量映射方法逡逑Ｆｉｇｕｒｅ邋１－３邋Ｆｏｕｒ邋ｕｎｉｆｉｅｄ邋ｑｕａｌｉｔｙ邋ｍａｐｐｉｎｇ邋ｍｅｔｈｏｄｓ逡逑世界地图投影：最著名的等矩形投影的例子是世界地图，如图ｌ－３ａ）所示，它逡逑也是最常见的球面到平面的映射。这种映射方法用长宽为（２ｍ＂，ｎｒ）的平面矩形表逡逑示球面，并且由赤道向两极逐渐增加点的映射。因此，越靠近极地的地方，图像拉逡逑伸变形越严重，随之也产生了大量的冗余像素，浪费了大量的带宽。逡逑立方体投影：这种投影广泛应用于游戏软件中，与世界地图投影类似。如图１－逡逑３邋ｂ）所示
切片都等于它在球体上相邻上下纬度圈所占的面积，和１－３邋ａ）比较，这种方案可以逡逑节省高达２８％的投影像素。逡逑十二面体投影：图１－３邋ｄ）表示从球体到十二面体的映射，是类似于立方体投影逡逑的新映射方法，它可以提供更好的视觉质量、稳定性和压缩效率。逡逑（２）可变质量的映射（如图１－４所示）逡逑｜灥｜｜漏逡逑ａ）金字塔投影逡逑■■■Ｉ逡逑ｂ）偏移立方体投影逡逑图１－４两种可变质量映射方法逡逑Ｆｉｇｕｒｅ邋１－４邋Ｔｗｏ邋ｖａｒｉａｂｌｅ邋ｍａｓｓ邋ｍａｐｐｉｎｇ邋ｍｅｔｈｏｄｓ逡逑金字塔投影：图１－４邋ａ）是Ｆａｃｅｂｏｏｋ提出的可变质量映射的早期尝试，其主要逡逑思想是将球体投影到金字塔上，底面显示的是用户当前观看的区域，目的是可以用逡逑更多像素显示当前视口图像，但是这个方案有两个问题，一是用户转头时，图像质逡逑量下降很明显，二是ＧＰＵ不支持金字塔投影，因此渲染效果不如立方体投影。逡逑偏移立方体投影：在图１－４邋ｂ）表示的映射方法中，投影点建立在立方体的顶部，逡逑可提供可变质量的映射，同时解决了金字塔的问题，当用户的头转到后面时，偏移逡逑立方体可以平滑的降低质量。逡逑６逡逑
本文编号：2745501
【学位授予单位】：北京交通大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.41;TP183
【图文】：
１．２．１全景视频的处理过程逡逑全景视频的制作流程主要分为图像采集、拼接、映射等步骤，应用到现实生活逡逑中则需要进一步编码、传输、解码Ｍ的处理。如图１－２所示，全景视频的处理过程逡逑包括以下两个部分：逡逑全钬视频制作过程逡逑ｒ＿．逦，邋「＾！声－ａ定邋ｉ￣Ｍ邋音＾码邋ｉ逦逡逑Ｊ—逦逦逡逑？念＇？逦Ｋ知画涵｛逦逡逑全欺视频传输过程逦「逦逦逡逑Ｉ逦，逦Ｉ逦，逡逑卜，…ｉＩ邋Ｉ邋？邋ｉ邋Ｉ邋ｆｆ｜逡逑！逦＼逦Ｉ邋Ｉ丨以Ｉ丨邋＾邋■悘邋逦？邋｜逡逑Ｉ逡逑图１－２全景视频的处理过程框架逡逑Ｆｉｇｕｒｅ邋１－２邋Ｐｒｏｃｅｓｓｉｎｇ邋ｆｒａｍｅｗｏｒｋ邋ｏｆ邋ｐａｎｏｒａｍｉｃ邋ｖｉｄｅｏ逡逑３逡逑
逦引言逡逑（１）统一质量的映射（如图１－３所不）逡逑■ＰＩ逦ａ）世界地图投影逡逑｜－＃＾；逦＾ｒ＃ｗ：邋Ｍ逡逑Ｎｏｒｔｈ邋Ｐｏｌｅ逦Ｎｏｒｔｈ邋Ｐｏｌｅ逡逑自…，．．．．．．．．．．—ｉ，逦ｉ逡逑Ｓ0：Ｂｏ，ｅ逡逑ｂ）切片分割投影逦ｃ）立方体投影逡逑ｉｌ逡逑ｄ）十二面体投影逡逑图１－３四种统一质量映射方法逡逑Ｆｉｇｕｒｅ邋１－３邋Ｆｏｕｒ邋ｕｎｉｆｉｅｄ邋ｑｕａｌｉｔｙ邋ｍａｐｐｉｎｇ邋ｍｅｔｈｏｄｓ逡逑世界地图投影：最著名的等矩形投影的例子是世界地图，如图ｌ－３ａ）所示，它逡逑也是最常见的球面到平面的映射。这种映射方法用长宽为（２ｍ＂，ｎｒ）的平面矩形表逡逑示球面，并且由赤道向两极逐渐增加点的映射。因此，越靠近极地的地方，图像拉逡逑伸变形越严重，随之也产生了大量的冗余像素，浪费了大量的带宽。逡逑立方体投影：这种投影广泛应用于游戏软件中，与世界地图投影类似。如图１－逡逑３邋ｂ）所示
切片都等于它在球体上相邻上下纬度圈所占的面积，和１－３邋ａ）比较，这种方案可以逡逑节省高达２８％的投影像素。逡逑十二面体投影：图１－３邋ｄ）表示从球体到十二面体的映射，是类似于立方体投影逡逑的新映射方法，它可以提供更好的视觉质量、稳定性和压缩效率。逡逑（２）可变质量的映射（如图１－４所示）逡逑｜灥｜｜漏逡逑ａ）金字塔投影逡逑■■■Ｉ逡逑ｂ）偏移立方体投影逡逑图１－４两种可变质量映射方法逡逑Ｆｉｇｕｒｅ邋１－４邋Ｔｗｏ邋ｖａｒｉａｂｌｅ邋ｍａｓｓ邋ｍａｐｐｉｎｇ邋ｍｅｔｈｏｄｓ逡逑金字塔投影：图１－４邋ａ）是Ｆａｃｅｂｏｏｋ提出的可变质量映射的早期尝试，其主要逡逑思想是将球体投影到金字塔上，底面显示的是用户当前观看的区域，目的是可以用逡逑更多像素显示当前视口图像，但是这个方案有两个问题，一是用户转头时，图像质逡逑量下降很明显，二是ＧＰＵ不支持金字塔投影，因此渲染效果不如立方体投影。逡逑偏移立方体投影：在图１－４邋ｂ）表示的映射方法中，投影点建立在立方体的顶部，逡逑可提供可变质量的映射，同时解决了金字塔的问题，当用户的头转到后面时，偏移逡逑立方体可以平滑的降低质量。逡逑６逡逑
【参考文献】
相关期刊论文 前1条
1 钟力,胡晓峰,孙立峰;全景视频信息空间模型[J];小型微型计算机系统;1997年11期
本文编号：2745501
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/2745501.html
