聚类多Agent强化学习认知无线电资源分配

发布时间：2018-07-16 21:06

【摘要】：针对认知无线电多用户的信道和功率资源分配问题,提出一种基于用户聚类和可变学习速率的多Agent强化学习方法.首先使用分层处理分离信道选择与功率控制,采用快速最优搜索结合用户数均衡调节实现信道分配;其次,使用随机博弈框架对多用户功率控制问题进行建模,通过K均值用户聚类减少博弈参与用户数量和降低单个用户的环境复杂度,并使用可变Q学习速率和策略学习速率的方法进一步促进多Agent强化学习的收敛.仿真结果表明,该方法能使多个用户的功率状态和总收益有效收敛,并且使整体性能达到次优.
[Abstract]:To solve the problem of multi-user channel and power resource allocation in cognitive radio, a multi-Agent reinforcement learning method based on user clustering and variable learning rate is proposed. Firstly, the hierarchical processing is used to separate channel selection and power control, and the fast optimal search combined with user number equalization is used to achieve channel allocation. Secondly, a stochastic game framework is used to model the multi-user power control problem. The K-means user clustering is used to reduce the number of users involved in the game and to reduce the environmental complexity of a single user, and the variable Q learning rate and the strategy learning rate are used to further promote the convergence of multiple Agent reinforcement learning. The simulation results show that the proposed method can effectively converge the power state and the total revenue of multiple users and make the overall performance suboptimal.
【作者单位】： 西安电子科技大学综合业务网理论及关键技术国家重点实验室;西南科技大学国防科技学院;
【基金】：国家自然科学基金项目(61379005) 国家重点基础研究发展计划项目(2009CB320403) 国家科技重大专项基金项目(2009ZX03007-004) 西安电子科技大学ISN实验室开放课题(ISN10-09)
【分类号】：TN925

【参考文献】

相关期刊论文 前1条

1 赵成林;李鹏;蒋挺;;快速收敛的认知无线电功率控制算法[J];北京邮电大学学报;2009年01期

【共引文献】

相关期刊论文 前6条

1 蒋青;杨克利;唐伦;;基于博弈论的最优认知中继网络功率控制[J];重庆邮电大学学报(自然科学版);2011年02期

2 滕志军;韩雪;杨旭;;认知无线电中基于多次博弈的功率控制算法[J];电信科学;2011年08期

3 滕志军;杨旭;韩雪;;基于多次博弈的认知无线电频谱动态分配算法[J];电子技术应用;2012年07期

4 胡图;景志宏;李冯敬;;一种改进的认知无线网络功率控制博弈算法[J];计算机科学;2012年02期

5 傅波;陈鑫;何勇;吴敏;;多智能体合作环境下的分布式强化学习[J];华中科技大学学报(自然科学版);2013年S1期

6 吴迎笑;杨震;;基于频谱感知的认知无线电机会功率控制算法[J];仪器仪表学报;2010年06期

相关博士学位论文 前4条

1 张静;认知无线网络决策与管理关键技术的研究[D];北京邮电大学;2011年

2 BACH THANHQUY（白青贵）;电力批发市场中基于强化学习的参与者行为特性研究[D];湖南大学;2013年

3 王冲;基于Agent的对地观测卫星分布式协同任务规划研究[D];国防科学技术大学;2011年

4 滕志军;基于认知无线电的频谱管理算法与MIMO系统容量分析[D];哈尔滨工程大学;2012年

相关硕士学位论文 前4条

1 周然;认知无线网络功率分配算法的研究[D];北京邮电大学;2010年

2 郭永亮;基于非线性链路代价函数的功率控制博弈设计[D];哈尔滨工程大学;2012年

3 刘冰;基于SIR平衡的CDMA分布式功率控制算法研究[D];南京邮电大学;2012年

4 胡文妤;认知无线网络中的功率分配问题研究[D];华中科技大学;2012年

【二级参考文献】

相关期刊论文 前2条

1 满成圆,刘雁,周文安,宋俊德;基于博弈论的宽带无线系统功率控制算法研究[J];北京邮电大学学报;2005年05期

2 程世伦;杨震;;基于信干比的认知无线电自适应功率控制算法[J];电子与信息学报;2008年01期

【相似文献】

相关期刊论文 前10条

1 孙彬;杨震;田峰;;基于代价函数的认知无线电功率控制博弈算法[J];南京邮电大学学报(自然科学版);2010年05期

2 杨乐;;认知无线电关键技术研究[J];电子元器件应用;2011年08期

3 周良臣;;认知无线电体系结构分析[J];电讯技术;2010年03期

4 邱晶;邹卫霞;;认知无线电中的动态频率选择和功率控制研究[J];系统仿真学报;2008年07期

5 盛惠兴;霍冠英;王海滨;;认知无线电——智能的无线通信技术[J];计算机测量与控制;2007年11期

6 文凯;洪波;;IEEE 802.22环境下的认知无线网络功率控制研究[J];电视技术;2010年02期

7 李圣安;王保云;;一种新的智能无线技术——认知无线电技术[J];电信快报;2005年11期

8 郭彩丽;张天魁;曾志民;冯春燕;;认知无线电关键技术及应用的研究现状[J];电信科学;2006年08期

9 程世伦;杨震;;一种新型认知无线电资源分配跨层技术[J];南京邮电大学学报(自然科学版);2008年02期

10 王霞;朱琦;;一种改进的认知无线电博弈功控算法[J];信号处理;2009年05期

相关会议论文 前10条

1 李锐;罗新民;邓建国;;基于博弈论的多用户认知无线电网络分布式功率控制[A];第一届中国高校通信类院系学术研讨会论文集[C];2007年

2 水永升;;基于信干比的认知无线电功率控制博弈算法[A];2009年全国无线电应用与管理学术会议论文集[C];2009年

3 武森;金海燕;高学东;;数据挖掘中CABOSFV聚类算法的实现与应用[A];全国第八届工业工程与企业信息化学术会议论文集[C];2004年

4 杜方键;杨宏晖;;K均值聚类优化集成学习[A];2011'中国西部声学学术交流会论文集[C];2011年

5 周骥;;浅谈认知无线电在军事领域的应用[A];四川省通信学会2010年学术年会论文集[C];2010年

6 穆向禹;浦剑涛;张树武;徐波;;基于状态子空间聚类的多层MLLR自适应算法[A];第七届全国人机语音通讯学术会议（NCMMSC7）论文集[C];2003年

7 周祖荣;管君;;TD-SCDMA系统中基于智能天线的功率控制方法[A];中国电子学会第十五届信息论学术年会暨第一届全国网络编码学术年会论文集（上册）[C];2008年

8 刘庆军;毕少筠;孙进;刘天雄;;认知无线电技术在卫星导航系统中的应用前景[A];第三届中国卫星导航学术年会电子文集——S09组合导航与导航新方法[C];2012年

9 饶鲜;李斌;杨绍全;;用核聚类法进行异常检测[A];信号与信息处理技术第三届信号与信息处理全国联合学术会议论文集[C];2004年

10 杨广林;赵云峰;王书理;;Gabor滤波器及其在图像特征提取方面的优化算法[A];2005年中国智能自动化会议论文集[C];2005年

相关重要报纸文章 前10条

1 本报记者 卢子月;认知无线电让网络不再拥挤[N];通信产业报;2011年

2 特约撰稿人 吴康迪;日本4G路线明晰 “催熟”新技术[N];通信产业报;2009年

3 江苏泰州市无线电管理办公室 刘浏 窦沛沛;认知无线电整合“闲散”频谱[N];通信产业报;2009年

4 王云鹤　熊立;武汉电信直销中心剑指聚类市场[N];人民邮电;2009年

5 记者 肖卓;聚类市场：想挖金矿不容易[N];人民邮电;2009年

6 张秋;突破聚类市场的信息化盲区[N];中国计算机报;2007年

7 北京市电信规划设计院 王珏;从点看面现有CDMA网络如何工作？[N];计算机世界;2004年

8 中国科学院计算技术研究所 王 斌;内容为王[N];计算机世界;2004年

9 本报记者 朱杰;无线频谱资源的优化者[N];中国计算机报;2010年

10 符信;30个指标评价社会发展水平[N];南方日报;2005年

相关博士学位论文 前10条

1 马志W，

本文编号：2127670