马尔可夫决策过程在无线缓存网络中的应用

发布时间：2020-12-09 17:48

　　随着无线通信技术的发展,无线传输速率越来越快。人们对无线数据传输的需求也日益增长。与此同时,以内容为中心的数据(视频、音频等)逐渐成为无线数据传输的主流。无线缓存技术就是把这些以内容为中心的数据储存在网络边缘的缓存节点中,从而提高网络的整体性能。本文研究了在缓存节点(存储空间受限)的帮助下,单个蜂窝网络中下行文件传输的调度。具体来说,用户随机地向基站提出文件访问的请求。当文件访问请求到达的时候,基站将该文件多播到发出请求的用户和一些选定的缓存节点。当下一次访问相同文件的用户落在这些缓存节点的覆盖范围内的时候,缓存节点可以代替基站承接文件传输任务。在上述文件有限的生命周期内,由于缓存节点的储存空间受限,文件的放置(到缓存节点)和文件的传输(到用户)需要联合优化。在文件的生命周期中,基站对每次多播传输资源的分配(多播功率和传输符号数量)被建模成一个具有随机阶段数量的动态规划(Dynamic Programming)问题。此类问题无法用现有方法解决,因此,通过将原始问题转换为具有固定阶段数的等效马尔可夫决策过程(Markov Decision Process),本文开发了一种渐近最优的框架来... 

【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校

【文章页数】：64 页

【学位级别】：硕士

【部分图文】：

从第帧开始的一个文件的多播帧分配示意图

哈尔滨工业大学工学硕士学位论文-45-储存空间（,）的关系,其中=1,文件平均访问次数=100。可以观察到，在从基准方案2、3，本文所提出的方案到基线1，基准在利用缓存节点分担传输任务方面变得更加保守。因此，以上四种方案的缓存命中率按降序排列。图6-3平均传输代价和缓存节点储存空间（,）的关系尽管基准方案2和3的缓存命中率高于本文提出的方案，但其对应的基站平均传输代价本文提出的方案（参考图6-3）。因此，如果关注的是（有限文件生命周期内）基站的平均传输代价，则最大化缓存命中率并不是最好的策略。图6-4缓存命中率和缓存节点储存空间（,）的关系为了说明本文提出的方案具有低复杂度的优点，本文比较了计算准确值函数（最优MDP值迭代算法）和计算近似值函数（本文提出的方案，参考第四

哈尔滨工业大学工学硕士学位论文-47-接近最优解。另外，本文发现如果使用了不准确系统信息的MDP算法的性能不如本文提出强化学习算法，所以学习准确信息在动态规划问题中非常重要。图6-6强化学习算法（算法5.1）中近似值函数的收敛示意图6.5本章小结本章首先描述了数值仿真的场景，接着给出了三种与本文提出方案相比较的基准方案。这些基准方案都是合理的，低复杂度的，性能优越的方案。在已知系统参数的时候，本文提出的方案在不同平均文件总访问次数，文件热门程度分布以及不同缓存节点储存能力的条件下都优于三种基准方案。这是因为本文提出的方案在探索流量分流（用缓存节点分担基站传输任务）比基准方案1更积极，但是比基准方案2和3更保守。同时，本章比较了本文提出的近似算法的计算复杂度和传统MDP算法的计算复杂度。本文提出的算法可以大大降低传统MDP算法的复杂度。图6-7强化学习算法（算法5.1）的性能示意图


本文编号：2907242