能量收集MQAM无线通信系统基于强化学习的资源分配

发布时间：2020-07-02 18:58

【摘要】：无线通信中的能量收集(EH,Energy Harvesting)技术是指通信设备可以从周围环境中收集太阳能、风能、电磁能等可再生能源的技术。具有能量收集设备的通信节点可以更加灵活地部署、减少对电网供电的依赖性、而且更加符合节能减排的理念,是未来绿色通信的发展趋势。将能量收集技术结合传统通信的多进制正交幅度调制(MQAM,Multiple Quadrature Amplitude Modulation)技术相结合,可以同时缓解化石能源和频谱资源短缺的问题。本文围绕能量收集MQAM无线通信系统的资源分配问题进行了深入的研究,主要工作如下:1)为了提高通信系统的容量、提高能量收集的利用效率,研究了基于强化学习方法的EH-MQAM点对点无线通信系统的资源分配问题。由于能量收集通信系统的能量达到具有随机性突发性的特点,加之无线信道的多变和衰落,使得我们无法预测能量到达和信道的状态。传统的凸优化方法对解决这类通信系统的优化问题已经不再适用,所以本文利用了一种新颖的方法——强化学习来求解系统最大吞吐量的优化问题。首先尝试了最基本的基于表格式的值函数强化学习算法—Q-learning和SARSA算法来找到分时通信系统每一时隙的最优传输策略。然后通过数学方法证明Q-learning和SARSA算法的收敛性。最后,仿真实验表明,这两种算法均可以达到收敛状态。利用收敛后的表格,它们都可以找到最优传输策略且在吞吐量性能上优于其他相比较的传统传输策略。2)为了优化SARSA和Q-learning算法收敛速度慢,需要额外内存资源储存动作值函数表格的问题。本文尝试了用一种基于Tile-Coding方法的值函数近似SARSA算法改进传统的SARSA算法。根据文中通信系统的优化问题的主要特征,设计了3组狄利克雷基函数。用基函数与权重的向量积逼近存储在表格中的动作值函数。仿真实验表明,近似的SARSA算法同样可以找到最优的传输策略,且收敛速度快,不占用额外内存,更适合体积轻小灵活的无线通信设备。3)为了避免2)中人工寻找系统特征来构造基函数从而逼近动作值函数的麻烦,本文继续深入探索值函数的近似方法,并利用神经网络这一强大的拟合工具来自动获得通信系统传输策略的特征。利用DQN(Deep Q Network)算法中的记忆回放和设置目标网络两大技巧来缓解神经网络不易收敛的特性。仿真实验表明,DQN算法同样可以找到本文通信系统的最优传输策略,且收敛速度非常快、无需人为寻找系统特征。
【学位授予单位】：吉林大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TN92;TP181

【相似文献】

相关期刊论文 前10条

1 鄂世举;郭壮;曹建波;任钰雪;金建华;蔡建程;朱喜林;周武;;微能量收集技术及储能器件研究[J];浙江师范大学学报(自然科学版);2017年02期

2 Bruno Damien;Andrea Colognese;;因应能量收集应用的超低功率需求[J];中国集成电路;2014年05期

3 于成林;赵程;沈景凤;付栖勇;李丽琛;;压电能量收集技术的研究及应用[J];中国水运(下半月);2018年05期

4 Tony Armstrong;;物联网可以从无线充电及能量收集中充分获益[J];今日电子;2014年11期

5 王哲;李陶深;叶进;葛志辉;吴敏;;基于场景生成的能量收集网络模拟方法[J];电子学报;2018年08期

6 王文琦;费廷伟;王学勇;孔祥营;;智能穿戴设备及其能量收集技术简述[J];军民两用技术与产品;2019年04期

7 王哲;李陶深;叶进;葛志辉;吴敏;;基于不确定理论的能量收集可靠性建模及规划[J];通信学报;2018年05期

8 罗丽;;EnOcean的能量收集技术带来热能应用新突破[J];电脑与电信;2011年07期

9 康亚威;姚彦鑫;;能量收集型无线传感器网络中高效的能量调度算法[J];实验室研究与探索;2019年04期

10 虞伟亮;阳光银行[J];第二课堂;2004年06期

相关会议论文 前10条

1 鲁庆庆;刘彦菊;冷劲松;;磁场作用下的多稳态压电能量收集系统研究[A];中国力学大会-2015论文摘要集[C];2015年

2 李赞;;能量收集多天线认知网络的高安全无线传输技术[A];第十九届中国科协年会——分9“互联网+”：传统产业变革新动能论坛论文集[C];2017年

3 张阳阳;陈奕声;吕朝锋;;关胸状态下动物心动的能量收集效率分析与优化[A];中国力学大会-2015论文摘要集[C];2015年

4 李春彪;徐玉杰;陆天爱;;忆阻器在压电能量收集系统储能单元中的应用[A];中国力学大会-2017暨庆祝中国力学学会成立60周年大会论文集（B）[C];2017年

5 思建行;戴玉婷;杨凇;;基于压电陶瓷的悬臂梁振动能量收集仿真与试验研究[A];第十届动力学与控制学术会议摘要集[C];2016年

6 高凤仙;马明明;;水汽驱动的柔性发电机[A];中国化学会第30届学术年会摘要集-第四十一分会：纳米材料与器件[C];2016年

7 陈佳宁;卢雨笑;李龙;;低功率条件下无线能量收集整流电路设计[A];2018年全国微波毫米波会议论文集(上册)[C];2018年

8 张阳阳;陆炳卫;吕朝锋;冯雪;;低频激励柔性压电器件的大变形能量收集理论研究[A];2018年全国固体力学学术会议摘要集（下）[C];2018年

9 刘阳;罗奇;孙科;陶孟伦;陈定方;;双晶压电悬臂梁电荷输出特性实验研究[A];湖北省机械工程学会机械设计与传动专业委员会暨武汉市机械设计与传动学会第22届学术年会论文集[C];2014年

10 刘阳;罗齐;孙科;陶孟伦;陈定方;;双晶压电悬臂梁电荷输出特性实验研究[A];发展战略性新兴产业，助推新能源装备制造——2014年第四届全国地方机械工程学会学术年会暨新能源装备制造发展论坛论文集[C];2014年

相关重要报纸文章 前3条

1 四川 张一帆;新型微能量收集技术突现 无电池应用或加速现实[N];电子报;2013年

2 深圳 慕容素娟;能量收集成为传感器下一个发展方向[N];电子报;2015年

3 湖北 朱少华 编译;可穿戴设备的热能收集[N];电子报;2019年

相关博士学位论文 前10条

1 范保艳;PVDF基复合材料热释电能量收集及电卡特性研究[D];华中科技大学;2018年

2 李职杜;基于网络演算的能量收集通信系统性能的研究[D];北京邮电大学;2018年

3 钮金鑫;基于D2D与能量收集的认知中继网络资源分配研究[D];电子科技大学;2017年

4 杨海露;基于压电技术的路面变形能量收集系统研究及应用[D];北京科技大学;2018年

5 王军雷;基于流机电多物理场耦合下涡激振动能量收集模型及特性[D];重庆大学;2014年

6 杜冠瑶;无线协作中继网络的资源分配和信息能量同传技术的研究[D];北京交通大学;2015年

7 魏胜;基于碰撞致上变频原理的压电能量收集技术研究[D];哈尔滨工业大学;2015年

8 吴了;基于压电能量收集的集成电路的研究与设计[D];湖南大学;2017年

9 赵清华;无线传感器节点能量管理系统的研究[D];太原理工大学;2010年

10 郭翱;块长有限的能量采集无线通信系统性能分析及优化[D];中国科学技术大学;2016年

相关硕士学位论文 前10条

1 李明玉;能量收集MQAM无线通信系统基于强化学习的资源分配[D];吉林大学;2019年

2 王伟莹;基于中继能量收集的协作通信中的吞吐量分析[D];广州大学;2019年

3 王元一;基于能量收集技术的绿色认知网络功率分配算法研究[D];吉林大学;2018年

4 邵美琪;基于能量收集的WBAN能量协作关键技术研究[D];吉林大学;2018年

5 张宇飞;沥青混凝土路面压电微能量收集技术研究[D];长安大学;2018年

6 王海琨;面向悬索的新型电磁式能量收集装置研究[D];西南交通大学;2018年

7 王昆鹏;一种面向人体应用的热电能量收集系统的研究[D];厦门大学;2017年

8 张树青;固定方位式海洋监测浮标能量收集装置的设计与研究[D];浙江大学;2018年

9 王影娇;非线性能量收集模型下认知网络的资源分配关键技术研究[D];南昌大学;2018年

10 张智勇;基于人体能量收集与自供能的LoRa无线定位系统研究[D];华东交通大学;2018年

本文编号：2738557