基于增强学习的智能体博弈问题研究

发布时间：2020-09-17 08:12

　　随着无人技术的发展,如何更好的应用无人装备,成为急需解决的问题。又由于无人技术应用中的智能体博弈问题的相关研究中,经典的方法大多缺少模型抽象能力,往往需要在问题解算过程中进行较多的人为干预,而增强学习具有与问题交互,自动进行问题建模并求解的能力。因此,本文的研究目标是基于已有的主流增强学习算法,在实际的智能体博弈问题中,进行有针对性的应用与改进,从而一定程度上地解决该博弈问题。本文首先针对研究的智能体博弈问题,分析并进行数学建模。同时,为了便于增强学习的算法设计,根据设计的解耦原则,建立解耦的路径规划问题和攻防对抗问题的数学模型。然后,基于上述数学模型,实现智能体博弈问题仿真环境的搭建,与增强学习算法进行交互。算法研究部分,首先针对路径规划和攻防对抗问题,研究状态设计与奖励设计,并应用主流的策略梯度、DQN和A2C增强学习算法进行解算,结合学习效果与问题分析,将网络结构改进为并行网络结构和分支网络结构。从不同算法和不同改进方法两个角度,对算法的求解效果进行比较,从中评估最适合应用与原问题求解的分支A2C方法。最后,基于路径规划和攻防对抗问题的研究结果,设计原问题的状态与奖励,应用上述策略梯度、DQN和A2C增强学习算法的正常网络结构、分支结构和并行网络结构,进行智能体博弈问题求解,验证基于解耦问题算法分析结果的有效性。设计的并行网络结构将博弈问题中的互相解耦的动作用不同的网络分别决策,降低了每个独立网络学习的难度,虽然增加了学习的不平稳性,但是对学习效果有较为明显的提升。设计的分支网络将互相解耦的动作,公用网络的特征提取层,采用不同的网络输出结构,既降低了网络的学习难度,又降低了学习的不平稳性。最终,降低了智能体博弈问题的学习难度,扩大了增强学习算法的学习能力。
【学位单位】：哈尔滨工业大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：O225;TP18
【部分图文】：

走势图,博弈方

第一章绪论博弈方的决策行为，静态博弈均为非完备信息博弈。静“囚徒困境”，两方同时做出决策，且决策时不知道对方题没有固定的先后次序，而是双方都可以连续的进行决弈。弈方的阵营，可以分为多方博弈、两方博弈和单方博弈弈阵营时为多方博弈，反之为两方博弈。根据博弈方的弈和多体博弈，当一方阵营包含大于等于 2 个博弈者视。弈分类之间相互交叉，同一个问题可能同属于多个分类合作博弈、完全信息博弈、动态博弈和两方博弈。博弈问题的初步了解，针对不同的博弈问题，选用合适该问题的重中之重，博弈领域的相关研究从 1960 年最高峰，单年产出 1369 篇成果，迄今累计 16125 篇成。

曲线,混合网络,仿真验证

(d-1)A2C 收敛效果图 (d-2)A2C 收敛效果图 (d-3)A2C 收敛效果图图 3-11 基于混合网络的仿真验证由上图和上表可知，A2C 混合网络在 1500 代左右的训练后奖励曲线达到一个最高的值，但是由于不确定性等因素，奖励还是出现了一定的回落，策略也实现了收敛，任务完成率大于 90%。而混合 PG 和混合 DQN 网络都无法学习有效策略，虽然奖励曲线有高有低，但是任务完成率很低，都属于无效的局部最优策略。分析原因可能是 A2C 网络具有一定的建模能力，可以对未来状态进行预测，因此更加善于解决稀疏奖励问题。（2）并行网络学习效果分析在路径规划问题中进行并行网络 PG 算法、DQN 算法和 A2C 算法的仿真验证，得到仿真结果如下：表 3-6 任务完成情况统计表算法\任务完成率迭代次数0-500 500-1500 1500-3000 3000-4000 4000-5000并行 PG 0.1 0.0 0.1 0.0 0.0

曲线,并行网络,对比图

A2C 混合网络在 1500 代左右的训练后奖值，但是由于不确定性等因素，奖励还是出现了一定的敛，任务完成率大于 90%。而混合 PG 和混合 DQN 网，虽然奖励曲线有高有低，但是任务完成率很低，都属。分析原因可能是 A2C 网络具有一定的建模能力，可，因此更加善于解决稀疏奖励问题。并行网络学习效果分析规划问题中进行并行网络 PG 算法、DQN 算法和 A2C仿真结果如下：表 3-6 任务完成情况统计表\任务完成率迭代次数0-500 500-1500 1500-3000 3000-4000 4000并行 PG 0.1 0.0 0.1 0.0 0行 DQN 0.1 0.1 0.0 0.0 0并行 A2C 0.9 1.0 1.0 1.0 1

【相似文献】