特定路网环境中多对象集中式运动协调策略的强化学习算法研究与实现
发布时间：2021-11-19 03:03
近年来,智能体技术的应用使得人类避免了许多重复、危险的任务。由于任务复杂度的提高,单个智能体无法满足需求,多智能体系统应运而生并被应用于工业、军事、航天等多个领域。在多智能体系统中,移动智能体系统是应用最广泛的一个分支。移动智能体系统通过智能体间的协同工作共同完成任务,而多个智能体在移动过程中可能会发生碰撞,如何协调多智能体的运动是移动智能体系统的重要研究课题之一。本文的研究目标是在一个包含路网的二维场景下,以车式移动机器人为研究对象,利用强化学习的方法生成一个运动协调策略保证多机器人在运动过程中不发生碰撞,并且整体运动时间尽可能短。针对特定路网环境下的多机器人运动协调问题,本文提出了一种结合双深度Q网络（Double Deep Q-Network,DDQN）方法的多机器人集中式运动协调强化学习算法。论文首先采用场景划分和基于矩形包围盒的碰撞检测算法得到机器人路径间的碰撞区域,然后利用本文设计的路径切分与转化方法将碰撞区域与路径集合转换成一种特定的路径棋盘图模型,该模型提供了强化学习训练中与智能体交互的环境,最后设计了环境的状态空间、智能体的动作空间以及环境的奖励模型,并利用DDQN方...
【文章来源】：北京交通大学北京市 211工程院校 教育部直属院校
【文章页数】：66 页
【学位级别】：硕士
【部分图文】：
图１－１集中式协调模型??ｕｒｅ－ｅｎｒａｚｒｉｎａｉｎｌ??
图１－２分布式协调模型??Ｆｉｇｕｒｅ?１－２?Ｄｉｓｔｒｉｂｕｔｅｄ?ｃｏｏｒｄｉｎａｔｉｏｎ?ｍｏｄｅｌ??混合式协调方式［１７］如图１－３所示。混合式协调结合了集中式协调和分布式协??调的优点，它存在一个中央控制单元掌握全局信息，负责分配任务和系统资源以及??协调冲突，并且系统中各个机器人掌握局部信息，它们相互之间采取通信手段进行??信息交流，根据自身的规划算法进行自主决策的同时结合中央控制单元的控制命??令进行运动规划。混合式协调方式不仅可以在复杂的系统中提高协调效率，还可以??保持集中式协调获得最优解的优点以及分布式协调的实时性和适应性等优点。??Ｋｕｍａｒ等研究者设计了一种协调多机器人团队执行合作任务的方法［１８］，该方法利??用混合协调模型对角色分配进行建模，利用混合自动机表示角色的转换与控制，并??在多机器人合作运输任务中得到了验证。??＜中央控制单元＿??图１－３混合式协调模型??Ｆｉｇｕｒｅ?１－３?Ｈｙｂｒｉｄ?ｃｏｏｒｄｉｎａｔｉｏｎ?ｍｏｄｅｌ??显示协调是一种利用通信的运动协调方式，它要求系统中各机器人不仅需要??共享目标和环境信息
、：．”．ｙ??图１－２分布式协调模型??Ｆｉｇｕｒｅ?１－２?Ｄｉｓｔｒｉｂｕｔｅｄ?ｃｏｏｒｄｉｎａｔｉｏｎ?ｍｏｄｅｌ??混合式协调方式［１７］如图１－３所示。混合式协调结合了集中式协调和分布式协??调的优点，它存在一个中央控制单元掌握全局信息，负责分配任务和系统资源以及??协调冲突，并且系统中各个机器人掌握局部信息，它们相互之间采取通信手段进行??信息交流，根据自身的规划算法进行自主决策的同时结合中央控制单元的控制命??令进行运动规划。混合式协调方式不仅可以在复杂的系统中提高协调效率，还可以??保持集中式协调获得最优解的优点以及分布式协调的实时性和适应性等优点。??Ｋｕｍａｒ等研究者设计了一种协调多机器人团队执行合作任务的方法［１８］，该方法利??用混合协调模型对角色分配进行建模，利用混合自动机表示角色的转换与控制，并??在多机器人合作运输任务中得到了验证。??＜中央控制单元＿??图１－３混合式协调模型??Ｆｉｇｕｒｅ?１－３?Ｈｙｂｒｉｄ?ｃｏｏｒｄｉｎａｔｉｏｎ?ｍｏｄｅｌ??显示协调是一种利用通信的运动协调方式，它要求系统中各机器人不仅需要??共享目标和环境信息
【参考文献】：
期刊论文
[1]基于人工势场法的无人机路径规划避障算法[J]. 毛晨悦,吴鹏勇. 电子科技. 2019(07)
[2]基于三阶贝塞尔曲线的AGV轨迹规划研究[J]. 刘学问,陶钧,徐海巍. 工业控制计算机. 2018(01)
[3]基于SVM的受约束D*算法在无人车寻路中的应用[J]. 刘晓涛,蔡云飞,王田橙. 计算机与数字工程. 2017(09)
[4]碰撞检测算法研究综述[J]. 王嘉,李孔清. 电脑知识与技术. 2017(20)
[5]基于空间剖分和包围盒的快速碰撞检测算法[J]. 彭晏飞,卢真真. 计算机应用与软件. 2015(08)
[6]基于遗传算法的机器人路径规划问题[J]. 谭艳. 现代计算机. 2013(15)
[7]基于A*的路径规划算法研究[J]. 李淑霞. 福建电脑. 2013(03)
[8]基于遗传算法的足球机器人路径规划[J]. 刘洲洲. 电子产品世界. 2013(02)
[9]车式移动机器人轨迹跟踪控制方法[J]. 曹政才,赵应涛,付宜利. 电子学报. 2012(04)
[10]多移动机器人系统运动协调研究综述[J]. 陈建平,杨宜民. 计算机工程与应用. 2009(23)
博士论文
[1]多智能体系统协调控制若干问题研究[D]. 高晶英.吉林大学 2017
[2]移动机器人网络的分布式运动协调[D]. 邢关生.南开大学 2009
硕士论文
[1]基于激光传感器室内机器人自主导航技术研究[D]. 赵钰.天津理工大学 2017
[2]基于强化学习的移动机器人路径规划研究[D]. 高慧.西南交通大学 2016
[3]一种特殊路网环境下的多机器人运动协调算法研究与实现[D]. 邓文超.北京交通大学 2016
[4]未知环境下的多机器人协调合作的研究[D]. 杨柳.华北电力大学（北京） 2009
本文编号：3504151
【文章来源】：北京交通大学北京市 211工程院校 教育部直属院校
【文章页数】：66 页
【学位级别】：硕士
【部分图文】：
图１－１集中式协调模型??ｕｒｅ－ｅｎｒａｚｒｉｎａｉｎｌ??
图１－２分布式协调模型??Ｆｉｇｕｒｅ?１－２?Ｄｉｓｔｒｉｂｕｔｅｄ?ｃｏｏｒｄｉｎａｔｉｏｎ?ｍｏｄｅｌ??混合式协调方式［１７］如图１－３所示。混合式协调结合了集中式协调和分布式协??调的优点，它存在一个中央控制单元掌握全局信息，负责分配任务和系统资源以及??协调冲突，并且系统中各个机器人掌握局部信息，它们相互之间采取通信手段进行??信息交流，根据自身的规划算法进行自主决策的同时结合中央控制单元的控制命??令进行运动规划。混合式协调方式不仅可以在复杂的系统中提高协调效率，还可以??保持集中式协调获得最优解的优点以及分布式协调的实时性和适应性等优点。??Ｋｕｍａｒ等研究者设计了一种协调多机器人团队执行合作任务的方法［１８］，该方法利??用混合协调模型对角色分配进行建模，利用混合自动机表示角色的转换与控制，并??在多机器人合作运输任务中得到了验证。??＜中央控制单元＿??图１－３混合式协调模型??Ｆｉｇｕｒｅ?１－３?Ｈｙｂｒｉｄ?ｃｏｏｒｄｉｎａｔｉｏｎ?ｍｏｄｅｌ??显示协调是一种利用通信的运动协调方式，它要求系统中各机器人不仅需要??共享目标和环境信息
、：．”．ｙ??图１－２分布式协调模型??Ｆｉｇｕｒｅ?１－２?Ｄｉｓｔｒｉｂｕｔｅｄ?ｃｏｏｒｄｉｎａｔｉｏｎ?ｍｏｄｅｌ??混合式协调方式［１７］如图１－３所示。混合式协调结合了集中式协调和分布式协??调的优点，它存在一个中央控制单元掌握全局信息，负责分配任务和系统资源以及??协调冲突，并且系统中各个机器人掌握局部信息，它们相互之间采取通信手段进行??信息交流，根据自身的规划算法进行自主决策的同时结合中央控制单元的控制命??令进行运动规划。混合式协调方式不仅可以在复杂的系统中提高协调效率，还可以??保持集中式协调获得最优解的优点以及分布式协调的实时性和适应性等优点。??Ｋｕｍａｒ等研究者设计了一种协调多机器人团队执行合作任务的方法［１８］，该方法利??用混合协调模型对角色分配进行建模，利用混合自动机表示角色的转换与控制，并??在多机器人合作运输任务中得到了验证。??＜中央控制单元＿??图１－３混合式协调模型??Ｆｉｇｕｒｅ?１－３?Ｈｙｂｒｉｄ?ｃｏｏｒｄｉｎａｔｉｏｎ?ｍｏｄｅｌ??显示协调是一种利用通信的运动协调方式，它要求系统中各机器人不仅需要??共享目标和环境信息
【参考文献】：
期刊论文
[1]基于人工势场法的无人机路径规划避障算法[J]. 毛晨悦,吴鹏勇. 电子科技. 2019(07)
[2]基于三阶贝塞尔曲线的AGV轨迹规划研究[J]. 刘学问,陶钧,徐海巍. 工业控制计算机. 2018(01)
[3]基于SVM的受约束D*算法在无人车寻路中的应用[J]. 刘晓涛,蔡云飞,王田橙. 计算机与数字工程. 2017(09)
[4]碰撞检测算法研究综述[J]. 王嘉,李孔清. 电脑知识与技术. 2017(20)
[5]基于空间剖分和包围盒的快速碰撞检测算法[J]. 彭晏飞,卢真真. 计算机应用与软件. 2015(08)
[6]基于遗传算法的机器人路径规划问题[J]. 谭艳. 现代计算机. 2013(15)
[7]基于A*的路径规划算法研究[J]. 李淑霞. 福建电脑. 2013(03)
[8]基于遗传算法的足球机器人路径规划[J]. 刘洲洲. 电子产品世界. 2013(02)
[9]车式移动机器人轨迹跟踪控制方法[J]. 曹政才,赵应涛,付宜利. 电子学报. 2012(04)
[10]多移动机器人系统运动协调研究综述[J]. 陈建平,杨宜民. 计算机工程与应用. 2009(23)
博士论文
[1]多智能体系统协调控制若干问题研究[D]. 高晶英.吉林大学 2017
[2]移动机器人网络的分布式运动协调[D]. 邢关生.南开大学 2009
硕士论文
[1]基于激光传感器室内机器人自主导航技术研究[D]. 赵钰.天津理工大学 2017
[2]基于强化学习的移动机器人路径规划研究[D]. 高慧.西南交通大学 2016
[3]一种特殊路网环境下的多机器人运动协调算法研究与实现[D]. 邓文超.北京交通大学 2016
[4]未知环境下的多机器人协调合作的研究[D]. 杨柳.华北电力大学（北京） 2009
本文编号：3504151
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3504151.html
