基于强化学习的码率自适应优化算法及其在水质监测中的应用

发布时间：2020-09-30 11:23

　　根据思科全球移动数据流量白皮书(2016-2021)的预测显示,视频流量在2021年将占到全球移动数据流量的四分之三。为应对视频数据爆炸式增长的需求,国际标准组织MPEG联合各大科技公司制定了HTTP自适应流(HTTP Adaptive Streaming,HAS)技术的国际标准(Dynamic Adaptive Streaming over HTTP,DASH),亦称为MPEG-DASH标准。MPEG-DASH标准对音视频的内容格式、传输方式和业务控制等都规定了具体的技术参数,但开放了客户端视频片段获取策略的定义。因此,研究码率自适应算法对视频数据按照MPEG-DASH标准进行播放具有较大的应用价值。现有的码率自适应算法大多是基于启发式方法的实现,该方法一般是根据特定网络条件通过硬编码实现码率的自适应,这导致基于该方法的码率自适应算法无法有效应对网络环境的变化。此外,也有不少学者利用强化学习算法应对网络环境变化情况下的码率自适应问题,这些算法往往采用强化学习中的Q学习算法来学习得到优化码率自适应的策略。尽管相比较于启发式方法,Q学习能获得较高的用户体验质量,但Q学习却存在难以编码连续的状态值和在大状态空间下学习收敛慢的不足。为此,本文结合最近邻算法,设计了一个可以处理状态为连续值情况下的Q学习算法。此外,针对Q学习收敛速度慢的不足,结合大脑关于神经元群体编码的理论,提出了一个群体编码Q学习算法。论文的主要工作总结如下:1.结合最近邻算法,设计了一个可以处理状态为连续值情况下的Q学习算法。实验结果表明,基于最近邻Q学习的码率优化算法具有更高的用户体验质量。2.针对Q学习在大状态空间下收敛速度慢的不足,结合大脑关于神经元群体编码的理论,提出了一个群体编码Q学习算法。3.开发了流域水质监测的视频流数据管理平台,达到了全流域实时监测、集中式统一管理以及多监测点间联动监测预警的效果。
【学位单位】：浙江工业大学
【学位级别】：硕士
【学位年份】：2018
【中图分类】：X832;TP18
【部分图文】：

框架图,框架,电量,消耗速度

图 1-1 ABR 框架[14]第一代 ABR 算法只考虑网络带宽作为资源估计模块的输入参数，在满足比预估的网络带宽低的条件后，这些算法将选择请求下载拥有最高比特率的视频片段[9][16]。这些算法的作者认为这样就可以提供高清视频服务，并且可以有效防止因缓存不足而视频暂停播放事件的发生。但只考虑单一的网络带宽并不能设计出有效的 ABR 算法[14][17]，因为这些算法未充分考虑客户端设备以及用户需求的多样性。例如，当用户不是在室内使用电源供电的个人电脑观看 NBA 总决赛，而是在室外使用快要耗光电量的智能手机欣赏比赛，此时该用户最大的需求很可能是剩余的电量能够支持到 NBA 总决赛的结束，因此可以忍受为了降低电量的损耗速度而让视频清晰度有所下降的策略，此时，运行基于电池消耗速度的ABR 算法可能比基于网络带宽的 ABR 算法更合理。另外，有研究发现，移动终端播放视频会加速电量的消耗[18][19][20],而在线播放视频时的电量消耗速度是离线播放时电量消耗速度的两倍[19]。

系统架构

浙江工业大学硕士学位论文第 2 章基于强化学习的码率自适应算法自适应流的出现可以使客户端根据网络带宽等条件动态请求不同码率的固定码率传输技术无法动态调整的弊端，降低了缓存被耗尽的风险并实播放质量，提高了终端用户的体验。HTTP 自适应流技术的国际SH 的系统架构图如图 2-1 所示。

过程图,视频播放,客户端,码率

浙江工业大学硕士学位论文方法，通过当前的码率自适应算法，选择请求下载合适码率的视频片段到本地，媒体播放器逐个播放本地已缓存的视频片段，直至视频内容播放完毕。DASH 客播放演示例子如图 2-2 所示，由图可知，随着网络带宽的提升，DASH 客户端将更高码率的视频片段。

【相似文献】