基于Sarsa学习的基站休眠策略研究

发布时间：2024-05-31 03:41

　　在异构Macro-femto蜂窝网络中,随着日益增长的用户数量使得基站能耗问题变得更加严峻,提升整个移动系统能效的有效方式就是进行基站休眠。根据无模型理论提出一种基于Sarsa学习的动态基站休眠算法,算法通过基站学习环境中的用户流量,制定合理的休眠机制。仿真结果表明,提出的基于Sarsa学习的基站休眠算法能够有效提升系统能效。

【文章页数】：8 页

【部分图文】：

图1全双工异构蜂窝网络场景

本文的系统模型是建立在全双工双层异构蜂窝网络的基础上,由宏基站(macrobasestation,MBS)和K个家庭基站(femtobasestations,FBS)组成,如图1。为了保证覆盖,MBS一直处于工作状态;FBS有2种模式,工作状态或者休眠状态。当FBS处....

图2强化学习模型

强化学习模型如图2,Agent通过感知环境,形成内部状态集S,从初始状态s出发,通过贪婪算法选择动作a并作用于环境,环境通过动作的触发转移到下一个状态s′,并获得立即收益,不断地学习并进行状态转移,得到每个状态-动作对的累积收益值,从而使Agent在每个状态的累积收益值中选择最大....

图3Sarsa学习框架

图3为基站与环境的学习过程,可以建模为4元组[s(t),a(t),R(s,a),s′(t)],t表示离散时间。基站在状态s(t)时,通过行为决策a(t),有些基站会选择休眠,其服务的用户会进行重关联使得每个基站的状态即用户数发生改变,进而转移到状态s′(t),计算在状态s′(t)....

图4系统平均能效随FBS用户传输功率变化图

图4描述了FBS用户传输功率Pu对3种算法的系统平均能效的影响。图4中可以看出,3种算法的系统平均能效随着FBS用户传输功率Pu的增大而减小。其主要原因是:根据(7)式可知,FBS用户传输功率Pu的增大会导致上行信道系统容量的减小,而(7)式中表明系统能效与上行信道的系统容量....

本文编号：3985096