基于全景视频的网络直播系统的设计与实现

发布时间：2019-08-27 10:04

【摘要】：进入21世纪,虚拟现实技术获得了长足的发展,如今一些全景视频的出现,结合3D立体技术的发展,掀起了开发虚拟现实的热潮。全景技术在当今社会也取得了越来越广泛的应用,包括网络直播、虚拟现实以及全景地图等。在单视点平面视频的观看需求被满足之后,人们越来越希望能够在网络上看到多视点并富有立体感的视频,以获得更加逼真的视觉享受。基于网络的全景视频直播已经成为人类视觉研究的一个重要的发展方向。本文设计并实现了基于环形360度全景视频的网络直播系统,相对于传统的单视点网络直播,本系统通过获取水平方向多个视点视频并处理得到环形360度全景视频,继而对其进行实时编码压缩并传输给远程用户终端。本文的主要工作包括以下三个方面:1)全景视频的采集和制作。本系统采用6个小蚁相机作为直播的视频采集源,首先对摄像机进行参数的设定,包括位置、焦距、分辨率、白平衡、曝光率等,然后结合相应参数进行图像拼接得到360度全景视频。考虑到直播系统对实时性要求较高,本文采用改进后的SURF算法进特征点提取和匹配,并采用多线程处理多视点图像拼接和融合,从而加快全景图像获取速度。2)全景视频的实时网络传输。首先对获取的全景视频和音频进行编码,由于全景视频数据量较大,本文采用H.264编码标准编码对原始全景视频和音频,并对音视频进行同步;其次,设计合理的网络直播架构,本系统采用传统C/S模式进行网络传输和视频分发,通过搭建Nginx流媒体服务器接收采集端发送的实时视频并转发给用户终端。3)全景视频的终端接收、展示及交互。此过程通过网络传输协议接收服务器端的直播流,采用设备3Glasses来展示全景视频,3Glasses头盔设备内置了九轴传感器和AMOLED屏,增强了用户交互性,特别适合展示立体全景视频。本系统的关键是多个视点视频的特征点匹配以及拼接融合得到相应的水平360度全景视频,此过程对处理速度要求较高,并且对拼接效果有一定的要求。经过系统测试,在现有网络带宽直播系统延时较低,能够满足实时性要求,并且全景画面衔接自然,给用户终端沉浸感和交互性,在虚拟视觉领域具有较高的科研和应用价值。
【图文】：

框架图,直播系统,传统网络,框架

２．１直播系统整体框架逡逑传统网络直播系统主要包含了以下几个过程：视频获取、视频编解码、网络传输以及终端显逡逑示。整个直播过程呈现流式结构，后一个环节都依赖于前一环节的支持，，如图２－１所示。逡逑／逦Ｎ邋ｒ逦＼逦＾逡逑Ｗ拜淹逦墫s宠逦＾逡逑１邋＋邋ａ邋＊邋＿逦ｗ逡逑８８邋＃邋ｓｓ邋＾邋＾邋＾逡逑编码２５逦洼媒体＊夯２逦yP码２逦Ｓ示２５逡逑ｖ逦ｙ邋Ｖ逦逦逦Ｊ邋ｖ逦／逡逑视频获取逦视频编解码和网络传输逦胃端？示逡逑逦邋Ｉ邋逦邋．逦．．．逦．逦．．．逦．逦逦逦逡逑图２－１传统网络直播系统框架逡逑（１）

全景图像,图像拼接

的全景成像首先借助单个普通相机围绕某固定点旋转并拍摄多张图像，或是通过全景支架借助多台逡逑同等配置摄像机同时拍摄各个视角的一组图像，然后将得到的多个视角的图像进行无缝平滑拼接形逡逑成全景视频图像，如图２－２所示。由于每幅图像的坐标不同，为了图像拼接融合的需要，需要把每逡逑幅图像处理变换到同一个坐标系下，此时需要全景图像的投影变换。按照投影坐标系不同可以将其逡逑分为圆柱面投影和球面投影两大类。逡逑１０１邋．ＪＰＧ邋［ＯＺＪＰＧ邋ｌ０３．ＪＰＧ邋｜０４．ＪＰＧ邋｜0５．ＪＰＧ邋｜0Ｇ．ＪＰＧ邋０７邋ＪＰＧ邋ＯＳ邋ＪＰＧ邋０９邋ＪＰＧ邋＇ｉＣｉＪＰＧ＇逡逑图２－２图像拼接成全景图逡逑图像拼接包括图像配准与融合，图像配准是对需要拼接的两幅图像进行特征点提取，并进行特逡逑征点匹配得到相应的单应矩阵（图像变换矩阵），然后根据单应矩阵变换其中一幅图像，使得两幅逡逑图像变换到同一坐标系下。传统的图像配准算法，如尺度不变的特征变换（Ｓｃａｌｅ邋Ｉｎｖａｒｉａｎｔ邋Ｆｅａｔｕｒｅ逡逑Ｔｒａｎｓｆｏｒｍ，邋ＳＩＦＴ）难以满足实时性要求，加速分割检测特征（Ｓｐｅｅｄｅｄ邋Ｕｐ邋Ｒｏｂｕｓｔ邋Ｆｅａｔｕｒｅｓ，ＳＵＲＦ）算逡逑法因计算速度较快而得名，ＡｈｎＣｈａｎｇ－Ｗｏｏｋ等又在此基础上进行了改进，使用具有方向性的逡逑ＢＲＩＥＦ特征算子，提出了邋ＯＲＢ算法（ＯＲｉｅｎｔｅｄ邋Ｂｒｉｅｆ，邋—种新的角点检测与特征描述算法）。ＯＲＢ逡逑算法的处理速度有了明显的提升
【学位授予单位】：东南大学
【学位级别】：硕士
【学位授予年份】：2017
【分类号】：TP391.41

【参考文献】