WebRTC视频帧率提升算法研究与会议系统设计实现
发布时间：2021-06-24 16:45
伴随着各种新技术的不断涌现,WebRTC应运而生。WebRTC是一项基于浏览器的多媒体实时通信技术,也是终端音视频接口的标准化抽象和实时通信的建立、多媒体编码格式以及传输的标准规范。只要满足这些标准规范,Web端和移动端都可以得到应用。除了像WebRTC这样的新技术外,与WebRTC相关联的视频后处理技术也在不断研究和更新中。其中帧率提升技术就是视频后处理技术中研究的热点,其在数字媒体领域有着广泛的应用,不仅可以用于提高视频在播放端的质量,也可以用于平衡海量的视频数据与有限的带宽资源之间的矛盾。本文首先对WebRTC的整体框架、核心技术等进行研究,并对影响着WebRTC视频质量中的帧率调整策略进行研究。由于WebRTC的实时视频技术中采取了一定丢帧策略,故而对视频后处理技术中的帧率提升技术进行研究。本文主要对传统的帧率提升算法作了研究分析,同时对CNN、U-net、Res Net等神经网络进行研究分析,针对传统帧率提升算法的不足,结合深度学习的优势,提出一种基于改进UNet的帧率提升算法。该算法使用U-net和Res Net的结合,将视频的相邻两帧作为输入,通过U-net网络编码和解码...
【文章来源】：重庆邮电大学重庆市
【文章页数】：75 页
【学位级别】：硕士
【部分图文】：
基于改进U-Net网络的FRUC算法预测模型
重庆邮电大学硕士学位论文第3章基于改进U-Net神经网络的帧率提升算法333.10所示，10个视频序列作为测试集，包含6357视频序列郑数据集详细信息如表3.2所示。表3.2网络模型训练数据集TrainSetTestSetvideoclips12310videoframes846486357framesperclip688.2635.7resolution1280*7201280*720图3.10部分视频序列帧2.数据归一化当直接使用原图来训练我们的网络模型时候，模型的输出会有很大的误差，容易造成梯度爆炸，不能达到理想的效果。因此我们对输入训练样本进行归一化处理，将训练样本归一化为[0,1]之间，能够加快梯度下降求解最优解的速度，利于网络的收敛。归一化处理如公式3.8所示：′=255(3.8)其中，表示通道上的输入图像；′表示处理后的图像。
重庆邮电大学硕士学位论文第3章基于改进U-Net神经网络的帧率提升算法35表3.3不同视频序列下各算法的PSNR(dB)videoclipsMotionEST-AlgoCNN-AlgoU-net-AlgoRes_U-Net-Algopeople31.3531.6732.3732.19sport30.0330.7831.1831.35wallpaper31.5131.5932.0332.46lawn29.8331.2632.2433.07building30.3632.4331.8832.22football31.2430.2630.4430.71flower30.7831.4631.8932.39Average30.7331.3531.7132.06图3.11不同视频序列帧下各算法的PSNR(dB)其中MotionEST-Algo代表传统的基于文献[55]使用的算法，CNN-Algo表示文献[7]提出的算法，U-net-Algo表示使用未改进的U-net网络算法，Res_U-Net-Algo表示本文提出的残差网络和U-net网络结合的算法，实验采用多种视频序列进行比较，这些视频序列具有不同的特点，包括运动、静止、人物细节等，从而可以全方位的对算法的优劣进行验证。表3.3所展示的是不同的视频序列帧在不同的帧率提升算法下的PSNR值，是插值帧的客观效果。图3.11是对表3.3中的PSNR值所做的直观柱状图，由此可看出本文提出的改进U-Net的帧率提升算法在大部分的视频序列下所预测的插值帧在客观值上高于其他算法，也就是插值帧的客观效果优于其他算法所预测的插值郑本文算法、U-net、CNN和传统帧率提升算法预测的插值帧的主观效果如图3.12所示。
【参考文献】：
期刊论文
[1]基于RTP的WebRTC音视频传输优化方法[J]. 李波,李雪梦,王彦本. 西安邮电大学学报. 2019(01)
[2]卷积神经网络研究综述[J]. 张亚倩. 信息通信. 2018(11)
[3]基于卷积网络的帧率提升算法研究[J]. 侯敬轩,赵耀,林春雨,刘美琴,白慧慧. 计算机应用研究. 2018(02)
[4]卷积神经网络研究综述[J]. 周飞燕,金林鹏,董军. 计算机学报. 2017(06)
[5]基于WebRTC的实时视音频通信研究综述[J]. 张向辉,黄佳庆,吴康恒,雷志斌. 计算机科学. 2015(02)
[6]基于多特征匹配的双向运动估计帧率提升算法[J]. 薛春玲,李然,朱秀昌. 电视技术. 2015(01)
[7]WebRTC技术初探[J]. 屈振华,李慧云,张海涛,龙显军. 电信科学. 2012(10)
硕士论文
[1]农业场景下卷积神经网络的应用研究[D]. 刘庆飞.新疆大学 2019
[2]基于WebRTC的远程教育系统的设计与实现[D]. 李庆建.中国科学院大学(中国科学院沈阳计算技术研究所) 2019
[3]基于Delaunay三角形网格的视频帧率提升技术[D]. 李聪.山西大学 2019
[4]基于CycleGAN的字体风格转移算法及其应用[D]. 张国洲.西华大学 2019
[5]基于运动信息的视频帧率提升方法研究[D]. 曲爱喜.山东大学 2017
[6]基于WebRTC的iOS多人会议系统的设计与实现[D]. 王易可.北京邮电大学 2017
[7]基于WebRTC的视频自适应传输技术研究[D]. 李昭.北京邮电大学 2017
[8]深度学习中的自编码器的表达能力研究[D]. 王雅思.哈尔滨工业大学 2014
[9]基于运动矢量场平滑约束的帧率上转换技术研究[D]. 姜肇海.南京邮电大学 2014
[10]基于稀疏表示的帧率提升算法[D]. 谢世鹏.天津大学 2014
本文编号：3247465
【文章来源】：重庆邮电大学重庆市
【文章页数】：75 页
【学位级别】：硕士
【部分图文】：
基于改进U-Net网络的FRUC算法预测模型
重庆邮电大学硕士学位论文第3章基于改进U-Net神经网络的帧率提升算法333.10所示，10个视频序列作为测试集，包含6357视频序列郑数据集详细信息如表3.2所示。表3.2网络模型训练数据集TrainSetTestSetvideoclips12310videoframes846486357framesperclip688.2635.7resolution1280*7201280*720图3.10部分视频序列帧2.数据归一化当直接使用原图来训练我们的网络模型时候，模型的输出会有很大的误差，容易造成梯度爆炸，不能达到理想的效果。因此我们对输入训练样本进行归一化处理，将训练样本归一化为[0,1]之间，能够加快梯度下降求解最优解的速度，利于网络的收敛。归一化处理如公式3.8所示：′=255(3.8)其中，表示通道上的输入图像；′表示处理后的图像。
重庆邮电大学硕士学位论文第3章基于改进U-Net神经网络的帧率提升算法35表3.3不同视频序列下各算法的PSNR(dB)videoclipsMotionEST-AlgoCNN-AlgoU-net-AlgoRes_U-Net-Algopeople31.3531.6732.3732.19sport30.0330.7831.1831.35wallpaper31.5131.5932.0332.46lawn29.8331.2632.2433.07building30.3632.4331.8832.22football31.2430.2630.4430.71flower30.7831.4631.8932.39Average30.7331.3531.7132.06图3.11不同视频序列帧下各算法的PSNR(dB)其中MotionEST-Algo代表传统的基于文献[55]使用的算法，CNN-Algo表示文献[7]提出的算法，U-net-Algo表示使用未改进的U-net网络算法，Res_U-Net-Algo表示本文提出的残差网络和U-net网络结合的算法，实验采用多种视频序列进行比较，这些视频序列具有不同的特点，包括运动、静止、人物细节等，从而可以全方位的对算法的优劣进行验证。表3.3所展示的是不同的视频序列帧在不同的帧率提升算法下的PSNR值，是插值帧的客观效果。图3.11是对表3.3中的PSNR值所做的直观柱状图，由此可看出本文提出的改进U-Net的帧率提升算法在大部分的视频序列下所预测的插值帧在客观值上高于其他算法，也就是插值帧的客观效果优于其他算法所预测的插值郑本文算法、U-net、CNN和传统帧率提升算法预测的插值帧的主观效果如图3.12所示。
【参考文献】：
期刊论文
[1]基于RTP的WebRTC音视频传输优化方法[J]. 李波,李雪梦,王彦本. 西安邮电大学学报. 2019(01)
[2]卷积神经网络研究综述[J]. 张亚倩. 信息通信. 2018(11)
[3]基于卷积网络的帧率提升算法研究[J]. 侯敬轩,赵耀,林春雨,刘美琴,白慧慧. 计算机应用研究. 2018(02)
[4]卷积神经网络研究综述[J]. 周飞燕,金林鹏,董军. 计算机学报. 2017(06)
[5]基于WebRTC的实时视音频通信研究综述[J]. 张向辉,黄佳庆,吴康恒,雷志斌. 计算机科学. 2015(02)
[6]基于多特征匹配的双向运动估计帧率提升算法[J]. 薛春玲,李然,朱秀昌. 电视技术. 2015(01)
[7]WebRTC技术初探[J]. 屈振华,李慧云,张海涛,龙显军. 电信科学. 2012(10)
硕士论文
[1]农业场景下卷积神经网络的应用研究[D]. 刘庆飞.新疆大学 2019
[2]基于WebRTC的远程教育系统的设计与实现[D]. 李庆建.中国科学院大学(中国科学院沈阳计算技术研究所) 2019
[3]基于Delaunay三角形网格的视频帧率提升技术[D]. 李聪.山西大学 2019
[4]基于CycleGAN的字体风格转移算法及其应用[D]. 张国洲.西华大学 2019
[5]基于运动信息的视频帧率提升方法研究[D]. 曲爱喜.山东大学 2017
[6]基于WebRTC的iOS多人会议系统的设计与实现[D]. 王易可.北京邮电大学 2017
[7]基于WebRTC的视频自适应传输技术研究[D]. 李昭.北京邮电大学 2017
[8]深度学习中的自编码器的表达能力研究[D]. 王雅思.哈尔滨工业大学 2014
[9]基于运动矢量场平滑约束的帧率上转换技术研究[D]. 姜肇海.南京邮电大学 2014
[10]基于稀疏表示的帧率提升算法[D]. 谢世鹏.天津大学 2014
本文编号：3247465
本文链接：https://www.wllwen.com/kejilunwen/sousuoyinqinglunwen/3247465.html
