基于深度强化学习具有能量收集和协作的超密集网资源分配

发布时间：2021-01-16 15:55

　　超密集网络（UDN,ultra-dense network）作为解决物联网中移动流量需求爆炸增长问题的关键技术之一,在通过大量部署小型基站（SBS,Small Base Station）来满足网络容量的同时,也带来了大量的能量消耗。因此,在有效满足用户服务质量的基础上,UDN还需降低小基站的能量开销、提高系统的能量效率。近些年,已有许多国内外学者提出了不同蜂窝网络下能量收集小基站的资源分配方案。小基站可以通过能量收集（EH,Energy Harvesting）技术从自然环境中获取太阳能、风能等可再生能源来降低传统电网的能量消耗。但是在UDN场景中小基站数量众多,用户与基站间的信道状态较为复杂,从绿色通信的角度上如何采取有效资源分配方案是一个值得研究的问题。此外,强化学习（RL,Reinforcement Learning）作为近些年兴起的一种新的优化理论,在探索环境、机器学习和智能决策等方面具有传统优化方法不具备的优势。将强化学习方法引入到UDN的资源分配中具有探索和研究价值。本文的研究内容为UDN在具有能量收集和协作下,如何提高系统总吞吐量的问题。主要工作可以分成两部分:1.研究和解... 

【文章来源】：吉林大学吉林省 211工程院校 985工程院校 教育部直属院校

【文章页数】：67 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
第1章 绪论
    1.1 研究背景与意义
        1.1.1 研究背景
        1.1.2 研究意义
    1.2 研究现状
        1.2.1 能量收集基站的模式现状研究
        1.2.2 能量协作基站现状研究
        1.2.3 能量收集基站的资源分配现状研究
    1.3 当前存在的问题
    1.4 论文的主要研究内容
    1.5 论文结构安排
第2章 理论基础
    2.1 深度强化学习理论基础
        2.1.1 引言
        2.1.2 马尔可夫决策过程
        2.1.3 基于值的强化学习方法
        2.1.4 神经元网络
        2.1.5 随机梯度下降法
        2.1.6 神经网络复杂度
    2.2 毫米波超密集网络相关知识
        2.2.1 超密集网络简介
        2.2.2 毫米波技术简介
        2.2.3 超密集网络资源分配的关键问题
    2.3 本章小结
第3章 集中式深度强化学习和能量收集的UDN资源分配
    3.1 引言
    3.2 能量收集与协作的超密集网络模型
        3.2.1 系统模型
        3.2.2 数学模型
    3.3 能量收集与协作的超密集网络强化学习分配算法
        3.3.1 基于DQN的控制决策
        3.3.2 基于DDPG的控制决策
    3.4 仿真结果及分析
    3.5 本章小结
第4章 分布式多智能体深度强化学习能量收集的UDN资源分配
    4.1 介绍
    4.2 多智能体强化学习
        4.2.1 系统数学模型
        4.2.2 基于MADDPG的控制决策
    4.3 仿真结果和分析
    4.4 本章小结
第5章 总结和展望
    5.1 论文总结
    5.2 未来展望
参考文献
作者简介及在学期间所取得的科研成果
    作者简介
    在校期间科研经历
    在学期间所取得的科研成果
致谢


【参考文献】：
期刊论文
[1]基于多智能体系统的微网功率经济分配方法[J]. 胡健,马皓.  电网技术. 2017(08)
[2]能量捕获无线通信系统的在线式动态能量分配[J]. 朱先飞,柯峰,杨德利,张钺.  南京邮电大学学报(自然科学版). 2015(02)
[3]A review of stochastic algorithms with continuous value function approximation and some new approximate policy iteration algorithms for multidimensional continuous applications[J]. Warren B.POWELL.  Journal of Control Theory and Applications. 2011(03)
[4]基于Agent的流程工业制造执行系统结构研究[J]. 杨帆,萧德云.  计算机集成制造系统-CIMS. 2003(02)

硕士论文
[1]M2M通信中基于机器学习的无线资源管理的研究[D]. 郑姗姗.北京交通大学 2018



本文编号：2981108