无线能量收集异构网络中基于Q-Learning的自适应优化

发布时间：2020-11-20 22:24

　　 为支持智慧家庭应用,Femtocell异构网络中需要部署大量传感器。射频(Radio Frequency,RF)能量收集(Energy Harvesting,EH)可通过无线信号为设备充电,在未来Femtocell异构网络中将有广阔的应用前景。由于无线RF能量与信息都需要依靠无线链路传输,会竞争链路资源。因此,在Femtocell异构网络中,对信息和能量传输的联合优化研究尤为重要,主要存在如下挑战:(1)系统信息与能量传输参数间内在关联关系复杂,全局模型难以建立;(2)网络节点数量大、需要联合优化参数多,优化难度高;(3)获取全网链路状态开销大,系统实时优化困难大。强化学习通过智能体与环境的不断交互,利用环境反馈激励信号进行决策和行为的自适应调整,非常适合大规模网络的优化应用。因此,本文基于强化学习理论,研究了两种典型Femtocell异构无线EH网络的优化设计,具体创新工作内容如下:(1)首先研究了基于WPCN的Femtocell异构网络,其中传感器节点通过收集无线接入点的RF信号能量为自身充电。为了实现在满足用户信息传输和传感器充电需求的前提下最大化Femtocell网络信息容量的系统目标,建立了数学优化模型,通过调节Femtocell发射功率在有效抑制干扰信号对信息传输影响的同时利用干扰信号为设备充电。为求解该问题,设计了基于Q-Learning的自适应功率控制算法框架。为提高算法性能,设计了基于距离因素和惩罚参数的分段式奖励函数。为使设计更接近实际情况,考虑了反应实际电路特性的非线性EH模型的约束。通过对不同奖励函数和超参数取值下网络性能的对比,给出了网络性能行为的变化规律。实验结果验证了所提算法框架的有效性,并且表明基于距离因素和惩罚参数的分段式奖励函数具有更好的网络性能,同时显示采用实际非线性EH模型可有效避免传统理想线性EH模型带来的偏差。(2)进一步研究了更为复杂和更具普适性的无线信息与能量同传(SWIPT)的Femtocell异构网络,其中无线接入点通过射频信号在为传感器节点充电的同时将信息传输给信息用户。针对此种网络,将功率与SWIPT接收机功率分割因子进行了联合优化,目的是在保证普通信息用户和充电传感器的信息与充电需求条件下,最大化Femtocell网络信息总容量。针对此问题,本文设计了基于Q-Learning的自适应功率与功率分割因子控制算法框架。为了使设计更接近实际情况,仿真实验同样考虑了非线性EH模型的约束。实验结果验证了所提算法框架的有效性,并给出了不同奖励函数参数对网络性能的影响规律。结果表明,ε-greedy动作选择策略下的网络性能优于玻尔兹曼动作选择策略,玻尔兹曼动作选择策略适合于动作规模较小的场景。
【学位单位】：北京交通大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TN929.5
【部分图文】：

Ｆｅｍｔｏｃｅｌｌ基于ＩＰ协议，用户可以通过室内的电缆或者数字用户线路（Ｄｉｇｉｔａｌ??Ｓｕｂｓｃｒｉｂｅｒ?Ｌｉｎｅ，?ＤＳＬ）等接入到因特网，然后再通过因特网连接到移动运营商的??核心网上，这种连接方式无需改变现有的网络框架。图１－１所示为Ｆｅｍｔｏｃｅｌｌ网络??架构图。Ｆｅｍｔｏｃｅｌｌ基站体积小、成本低，适用于ＣＤＭＡ、ＧＳＭ、ＵＴＭＳ等无线通??信技术标准，同时与运营商的移动基站保持同制式、同频段，因此终端可以通用。??Ｆｅｍｔｏｃｅｌｌ可由用户自行在家庭或者办公区域进行部署，由于信号传输距离短，所??以Ｆｅｍｔｏｃｅｌｌ可选择较小的发射功率进行信号传输，约为１０￣１００?ｍＷ，与ＷｉＦｉ??（Ｗｉｒｅｌｅｓｓ?Ｆｉｄｅｌｉｔｙ）的ＡＰ?（Ａｃｃｅｓｓ?Ｐｏｉｎｔ）发射功率相当，信号覆盖半径为５０？２００??２??

次提出信息和能量同时通过无线链路进行传输的思路［２４］。ＳＷＩＰＴ是指无线接入点??通过无线链路同时将信息和能量以射频信号的方式发送给传感器节点，传感器节??点从接受到的射频信号中收集能量并进行信息解码［２５］，如图１－３所示为ＳＷＩＰＴ工??作示意图。ＳＷＩＰＴ网络在实际通信网络中应用的难点主要有两方面：一方面需要??设计专用的传感器节点接收机硬件电路，能够同时实现能量接收和信息解码。另??一方面，考虑到能量收集和信息解码的电路敏感度不同（通常情况下能量接收是－１０??ｄＢｍ，信息解码是－６０?ｄＢｍ），因此需要分别设计能量接收机和信息接收机。针对??上述问题，文献［２６］提出了两种可以同时进行能量和信息接收的接收机结构，分别??为时间切换（Ｔｉｍｅ?Ｓｗｉｔｃｈｉｎｇ，?ＴＳ）接收机和功率分割（Ｐｏｗｅｒ?Ｓｐｌｉｔｔｉｎｇ，ＰＳ）接收??机。ＴＳ接收机结构是将传感器节点接收到的射频信号分成两个正交时间段进行接??收，第一个时间段进行能量收集，第二个时间段进行信息解码。ＰＳ接收机结构是??将传感器节点接收到的射频信号通过功率分割器分割成两部分，一部分信号用于??能量收集（假设功率分割因子为Ｐ）

传感器节点丨（１））?＾??ＰＣｓ??无线接入点?一￣?！??图１－２ＷＰＣＮ工作示意图??Ｆｉｇｕｒｅ?１－２?Ｓｃｈｅｍａｔｉｃ?ｄｉａｇｒａｍ?ｏｆ?ＷＰＣＮ??（２）?ＳＷＩＰＴ?方式??由于无线射频信号中既可以传输信息也可以携带能量，Ｖａｒｓｈｎｅｙ于２００８年首??次提出信息和能量同时通过无线链路进行传输的思路［２４］。ＳＷＩＰＴ是指无线接入点??通过无线链路同时将信息和能量以射频信号的方式发送给传感器节点，传感器节??点从接受到的射频信号中收集能量并进行信息解码［２５］，如图１－３所示为ＳＷＩＰＴ工??作示意图。ＳＷＩＰＴ网络在实际通信网络中应用的难点主要有两方面：一方面需要??设计专用的传感器节点接收机硬件电路，能够同时实现能量接收和信息解码。另??一方面，考虑到能量收集和信息解码的电路敏感度不同（通常情况下能量接收是－１０??ｄＢｍ，信息解码是－６０?ｄＢｍ），因此需要分别设计能量接收机和信息接收机。针对??上述问题，文献［２６］提出了两种可以同时进行能量和信息接收的接收机结构，分别??为时间切换（Ｔｉｍｅ?Ｓｗｉｔｃｈｉｎｇ
【参考文献】

相关期刊论文 前5条

1 周姝姝;徐扬;;Femtocell双层网络中基于博弈论的功率控制研究[J];计算机技术与发展;2015年11期

2 鲁蔚锋;祁彦川;何利文;陈思光;;Femtocell网络干扰抑制技术综述[J];电信科学;2014年05期

3 穆施瑶;朱琦;;家庭基站系统中的联合信道与功率控制算法[J];通信学报;2014年04期

4 黄学良;谭林林;陈中;强浩;周亚龙;王维;曹伟杰;;无线电能传输技术研究与应用综述[J];电工技术学报;2013年10期

5 肖竹;李仁发;易克初;张杰;;两层异构网络中femtocell研究进展与展望[J];通信学报;2013年02期

相关硕士学位论文 前1条

1 黄桂冰;大规模分布式天线系统关键技术研究[D];华南理工大学;2018年

本文编号：2892080