面向在线教育应用的视频处理研究
发布时间：2020-09-02 17:09
教育行业一直是民众关注的重点,随着我国经济发展和人民生活水平的提高,家庭消费中在教育投入大幅增加,教育相关的产业飞速发展。依托近年来互联网等信息技术的飞速发展,新兴的在线教育融合信息技术和互联网模式,涌现了多种在线教育形式,包括公开课、点播、直播等。这些在线教育产品都依托数字视频传输实现点播和直播,因此性能优良的数字视频传输系统对于在线教育产品的质量至关重要。数字视频传输系统主要包括视频编解码、视频传输等环节。视频编码主要完成数字视频信号的压缩编码,节省网络传输带宽。HEVC是新一代的视频编码标准,相对于前代编码标准,HEVC引入了很多新的压缩编码技术,具有优越的压缩编码性能,然而编码流程复杂,导致计算复杂度大幅提升,对低延时直播应用提出很大的挑战。在线教育的直播需要多方的实时视频通讯和互动,需要高效的音视频流媒体传输,以及复杂的信令逻辑控制。本文针对HEVC的高复杂度和在线教育场景下的直播视频传输进行了研究。运动搜索是编码器的关键模块,其在整个编码器复杂度中占比很高,而亚像素搜索又是运动搜索中占比很高的模块。本文针对HEVC亚像素搜素进行算法优化研究,相对于原始的全搜索算法,本文参考一元二次方程拟合和二次曲线拟合算法,预测最优亚像素点,编码率失真在一定范围内的前提下,有效减少亚像素插值次数,提高编码速度。此外本文研究HEVC率失真计算流程,针对亚像素运动搜索的率失真计算提出5种简化算法,有效减少计算复杂度。本设计参与在线教育直播系统实现,针对在线教育场景,实现直播系统的信令传输和视频流传输,通过websocket协议实现信令传输功能,通过RTP/RTCP实现视频流打包传输功能。为改善在线教育系统质量,提出了白板信令异步缓存优化、TURN SERVER主从集群优化、分区域录播缓存等多种系统优化方法,有效提高系统稳定性、负载能力和用户体验。该视频传输系统已经在某在线教育机构中上线使用,有效支持众多用户同时上线用。本文先介绍了HEVC关键技术,并分析HEVC亚像素搜索算法实现,随后具体介绍一次拟合、二次拟合和简化RDCost计算这三种优化算法的具体实现,通过标准序列和在线教育序列分析仿真实验结果和对比,在PSNR下降一定程度前提下,得到速率提升较快的优化算法。然后介绍在线教育直播系统框架,介绍了信令传输和视频流数据打包发送实现,具体分析白板信令异步缓存优化等系统优化方法,通过这些优化方法,解决了在线教育系统实际遇到的问题,在性能和用户体验方面有较明显的提升,能够投入实际线上教育场景使用取得较好的效果。
【学位单位】：上海交通大学
【学位级别】：硕士
【学位年份】：2018
【中图分类】：TN919.81
【部分图文】：
图 2-1 HEVC 编码框架[1]Fig.2-1 HEVC encoding framework[1]式构相对于前面的标准有明显的差别，H编码块对高分辨率视频的压缩效率更高 编码方式。具体介绍如下：TB）单色分量图像（YUV 分量）分割为多个 64*64。 Unit, CU） 进行视频压缩处理的基本单元，每个编64。在进行编码时，根据图像纹理细节即：64*64、32*32、16*16、8*8。
图 2-1 HEVC 编码框架[1]Fig.2-1 HEVC encoding framework[1].1 HEVC 图像表达方式HEVC 的编码树结构相对于前面的标准有明显的差别，HEVC 面向超高清视码，采用了更大的编码块对高分辨率视频的压缩效率更高。HEVC 相对 H.264了 64x64 和 32x32 编码方式。具体介绍如下：树块（Tree Block, TB）HEVC 视频编码将单色分量图像（YUV 分量）分割为多个树块，树块大小为N 的正方形，最大为 64*64。编码单元（Coding Unit, CU）编码单元是 HEVC 进行视频压缩处理的基本单元，每个编码单元是正方形，范围从 8*8 到 64*64。在进行编码时，根据图像纹理细节选择合适分割策略，最多有四级分割，即：64*64、32*32、16*16、8*8。
上海交通大学硕士学位论文3. 预测单元（Prediction Unit, PU）在执行预测编码是 CU 被分割成预测单元，HEVC 不仅支持对称分割，还支持非对称分割。对称分割有四种分割模式：2Nx2N、Nx2N、NxN，如图 2-3 所示；非对称分割也有四种模式：2NxnU、 2NxnD、 nLx2N、nRx2N，如图 2-4 所示。预测单元根据不同的编码模式有不同的划分。在 skip 模式下，只有 2Nx2N 划分；帧内模式下，只有 2Nx2N 和 NxN 两种划分方式；帧间模式下，有 2Nx2N、Nx2N、2Nx2N、NxN 几种划分方式。
本文编号：2810872
【学位单位】：上海交通大学
【学位级别】：硕士
【学位年份】：2018
【中图分类】：TN919.81
【部分图文】：
图 2-1 HEVC 编码框架[1]Fig.2-1 HEVC encoding framework[1]式构相对于前面的标准有明显的差别，H编码块对高分辨率视频的压缩效率更高 编码方式。具体介绍如下：TB）单色分量图像（YUV 分量）分割为多个 64*64。 Unit, CU） 进行视频压缩处理的基本单元，每个编64。在进行编码时，根据图像纹理细节即：64*64、32*32、16*16、8*8。
图 2-1 HEVC 编码框架[1]Fig.2-1 HEVC encoding framework[1].1 HEVC 图像表达方式HEVC 的编码树结构相对于前面的标准有明显的差别，HEVC 面向超高清视码，采用了更大的编码块对高分辨率视频的压缩效率更高。HEVC 相对 H.264了 64x64 和 32x32 编码方式。具体介绍如下：树块（Tree Block, TB）HEVC 视频编码将单色分量图像（YUV 分量）分割为多个树块，树块大小为N 的正方形，最大为 64*64。编码单元（Coding Unit, CU）编码单元是 HEVC 进行视频压缩处理的基本单元，每个编码单元是正方形，范围从 8*8 到 64*64。在进行编码时，根据图像纹理细节选择合适分割策略，最多有四级分割，即：64*64、32*32、16*16、8*8。
上海交通大学硕士学位论文3. 预测单元（Prediction Unit, PU）在执行预测编码是 CU 被分割成预测单元，HEVC 不仅支持对称分割，还支持非对称分割。对称分割有四种分割模式：2Nx2N、Nx2N、NxN，如图 2-3 所示；非对称分割也有四种模式：2NxnU、 2NxnD、 nLx2N、nRx2N，如图 2-4 所示。预测单元根据不同的编码模式有不同的划分。在 skip 模式下，只有 2Nx2N 划分；帧内模式下，只有 2Nx2N 和 NxN 两种划分方式；帧间模式下，有 2Nx2N、Nx2N、2Nx2N、NxN 几种划分方式。
【参考文献】
相关期刊论文 前2条
1 金惠羡;;浅谈下一代编码压缩技术——HEVC[J];数字通信世界;2011年11期
2 刘占平,董士海;MPEG-4标准及相关进展[J];中国图象图形学报;1999年06期
本文编号：2810872
本文链接：https://www.wllwen.com/kejilunwen/wltx/2810872.html
