基于强化学习的多智能体协作算法研究

发布时间：2021-07-26 12:18

　　随着科学技术的发展,人工智能已经成为专家学者研究的热点领域,而构建能够在复杂环境中做出较好决策的智能体是现代人工智能研究的基石。然而,由于智能体环境部分可观察且不稳定、多智能体之间以及智能体与环境之间相互影响相互制约等因素,多智能体问题仍然是一个极具挑战性的研究任务。基于强化学习的多智能体协作近年来已被证明是解决此类问题的较优范例之一。多智能体通信是实现多智能体协作的最常用方法之一。但是,现今多数智能体的通信协议通常采用人工制定的形式,无法捕获智能体之间的动态交互,导致智能体环境不稳定。为此,本文以动态实现多智能体协作为目标,以尽可能快的训练智能体为原则,构建了一个新的注意力通信模型（ACM）,自适应地构建通信路由以及通信信息。论文工作的主要工作和贡献如下:（1）提出一个新的协作感知网络（CAN）。该网络既可以动态计算各智能体之间的关系确定其通信路由,又可以从各智能体的状态信息中蒸馏出其通信内容。使用该网络不仅可以节省通信资源,而且可以充分利用智能体的行动策略信息。利用该网络,可以动态构建通信协议以适应不断变化的环境及策略,提升智能体训练的稳定性,从而使得各智能体可以获取更智慧的协作策... 

【文章来源】：中国地质大学(北京)北京市 211工程院校 教育部直属院校

【文章页数】：66 页

【学位级别】：硕士

【部分图文】：

论文结构安排示意图

基于强化学习的智能体策略算法题，前方车辆减速时目标车辆将跟随前方车辆减速，然后进入下一状态继续决策行驶。从早期使用函数表格构建智能体的策略到使用深度神经网络更好地拟合智能体的策略，强化学习算法不断发展进步，其中共享参数-部分可观察马尔科夫决策模型是最简单也是最常用的模型之一。2.1.1 强化学习问题的数学描述如图 2-1 强化学习问题示意图所示，强化学习的目的是训练出最优策略以解决马尔科夫决策问题，而马尔科夫过程，决策以及回报函数是马尔科夫决策过程的基础。图中 MDP 表示马尔科夫决策过程，MP 表示马尔科夫过程。

1 1 2 1( | , , ,...) ( | )t t t t t tP S S S S P S S 公式森林植被数的变动是典型的马尔科夫过程，明天的森林植被数只取决于植被数。即昨天森林植被数 100 棵，种植 10 棵与昨天森林植被数 90 棵对于明天森林植被数的影响相同，因为今天的森林植被数均为 110 棵1.2 马尔科夫决策过程马尔科夫决策过程针对决策问题，属于序列决策问题，相当于将时间划一个的片段，然后智能体在每个片段的决策时间点观察环境，并做出一。围棋问题属于马尔科夫决策过程，如图 2-2 所示，假设当前智能体为观察左侧棋局，黑方所观测到的棋局就是当前黑方的状态 s，他当前选即在当前位置上落子。考虑简单情景将白方当作环境，即不将白方视为而将其当做环境的一部分，即将白方落子视为黑方作出动作后环境的相此时会产生黑方的下一状态 ′，即右侧所示棋局。

【参考文献】：
期刊论文
[1]多智能体强化学习在城市交通网络信号控制方法中的应用综述[J]. 杨文臣,张轮,Zhu Feng.  计算机应用研究. 2018(06)
[2]基于元学习的反舰导弹目标识别研究[J]. 胡生亮,范学满,贺静波.  海军工程大学学报. 2018(01)
[3]有向图中基于扰动观测器的线性多智能体系统一致性[J]. 杨东岳,梅杰.  自动化学报. 2018(06)
[4]一种基于视觉注意力机制的深度循环Q网络模型[J]. 刘全,翟建伟,钟珊,章宗长,周倩,章鹏.  计算机学报. 2017(06)
[5]基于多智能体的城市道路短时交通流预测与仿真研究[J]. 朱湧,徐建川,陈晓利,李远哲.  公路交通技术. 2016(06)
[6]随机多智能体系统一致稳定性分析[J]. 明平松,刘建昌.  控制与决策. 2016(03)
[7]基于多智能体的电动汽车充电协同控制策略[J]. 许少伦,严正,冯冬涵,张良.  电力自动化设备. 2014(11)
[8]多智能体系统及其协同控制研究进展[J]. 刘佳,陈增强,刘忠信.  智能系统学报. 2010(01)



本文编号：3303552