基于平台无关强化学习的自适应流媒体传输研究

发布时间：2021-04-20 16:20

　　随着互联网产业的飞速发展和网络带宽的不断提升,流媒体服务越来越受到互联网用户的欢迎,如何使得用户群体获得更好的服务是流媒体技术的发展目标。由于网络可用带宽受限或不稳定,流媒体的下载与播放过程中需要根据网络环境和用户本身的需求进行自适应控制,以保证用户能够获得最大的体验质量（Quality of Experience,QoE）。本文研究基于HTTP动态自适应流媒体技术,采用深度强化学习的方法优化QoE问题。本文的贡献主要包括:（1）综合考虑了流媒体切片质量、码率切换平稳度和中断时间的影响构建QoE问题模型,针对现有研究中基于网络可用带宽预测方法的缺陷,本文采用深度强化学习的方法规避了带宽预测不准确的问题,兼顾了当前码率选择策略对未来的影响,获得长时间段内最优的码率选择策略。（2）考虑了在CDN与P2P混合网络结构作为流媒体服务器的场景,针对该场景下客户端与多个服务器之间QoE的优化问题建模进行了改进,兼顾了客户端在多个节点服务器之间切换造成的时延。（3）考虑了深度神经网络在计算和存储资源受限的客户端部署问题,研究了深度神经网络剪枝技术,提出了一种权重冗余度近似计算方法,在保证输出准确率的... 

【文章来源】：东南大学江苏省 211工程院校 985工程院校 教育部直属院校

【文章页数】：69 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
缩略语和术语
第一章 绪论
    1.1. 研究背景
    1.2. 研究现状
        1.2.1. DASH流媒体传输自适应码率算法
        1.2.2. 客户端资源受限场景下神经网络的压缩
        1.2.3. 研究现状小结
    1.3. 本文研究内容与成果
    1.4. 本文章节安排
第二章 基于强化学习的自适应流媒体传输
    2.1. 自适应流媒体传输问题模型
        2.1.1. 流媒体播放系统模型
        2.1.2. QoE问题的定义
    2.2. 利用深度强化学习优化QOE
        2.2.1. 深度强化学习算法
        2.2.2. 基于A3C的 QoE的优化算法
        2.2.3. 对多种码率支持的改进
    2.3. 本章小结
第三章 多服务器环境下的流媒体自适应传输
    3.1. CDN与 P2P结构下的自适应流媒体传输模型
        3.1.1. CDN结构
        3.1.2. P2P结构
        3.1.3. CDN与 P2P混合的结构
        3.1.4. CDN与 P2P混合网络结构下的客户端
    3.2. CDN与 P2P结构下的自适应流媒体传输
    3.3. 本章小结
第四章 神经网络剪枝
    4.1. 问题模型
        4.1.1. 神经网络结构
        4.1.2. 剪枝策略
        4.1.3. 权重剪枝计算模型
    4.2. 基于强化学习的自动化剪枝
        4.2.1. DDPG算法
        4.2.2. 压缩率策略的训练
    4.3. 权重冗余度近似计算
    4.4. 本章小结
第五章 流媒体播放的系统实现与实验结果
    5.1. 系统结构与实现
        5.1.1. 平台无关
        5.1.2. 服务器设置
        5.1.3. 客户端设置
    5.2. 神经网络剪枝实验结果
        5.2.1. 参数设置
        5.2.2. 模型准确率与压缩率
        5.2.3. 加速实验结果
    5.3.单服务器场景的实验
        5.3.1. 仿真网络带宽状态下的对比
        5.3.2. 真实采样网络带宽状态下对比
    5.4.真实环境中多服务器场景的实验
    5.5. 本章总结
第六章 总结与展望
    6.1. 研究成果总结
    6.2. 研究成果的局限性与展望
致谢
参考文献
作者简介


【参考文献】：
期刊论文
[1]流媒体分发系统关键技术综述[J]. 杨戈,廖建新,朱晓民,樊秀梅.  电子学报. 2009(01)

博士论文
[1]P2P流媒体内容分发与服务关键技术研究[D]. 吴杰.复旦大学 2008



本文编号：3150009