基于强化学习的移动机器人路径规划方法设计

发布时间：2020-08-14 15:54

【摘要】：随着移动机器人应用领域不断扩展,应用于移动机器人的路径规划技术也得到了越来越多专家的关注与研究。移动机器人在动态环境和未知静态环境中缺乏环境相关的先验知识,这就要求其具有较强的灵活性与适应性来应对各种状况。强化学习是通过智能体在环境中探索获得知识,在试错过程中进行学习,是机器学习领域的一个重要的分支。移动机器人在路径规划过程中不可避免的会遇到各种障碍物,就要求所设计的移动机器人路径规划方法能够灵活规划和对环境有一定的适应性,因此赋予机器人自主学习能力有非常重要的实际意义。本文首先阐述了设计基于强化学习的移动机器人路径规划方法的研究背景和意义,分别分析了目前移动机器人路径规划方法和强化学习方法的国内外研究现状,并简要介绍了本文要完的主要工作和框架安排。其次,详细介绍了强化学习方法的基本原理,并从系统组成上对强化学方法进一步分析;通过详细介绍三种强化学习经典算法,对强化学习的策略迭代方式以及最优策略的获得方法进行了说明;概括介绍了强化学习方法目前在路径规划领域的应用,并分析了存在的问题。第三,以移动机器人在静态未知环境中的路径规划为研究背景,利用强化学习方法设计基于Q-learning算法的路径规划方法,搭建静态栅格环境进行仿真实验,实验结果显示移动机器人在未知环境下通过自主学习能够寻找到一条从起始位置到达目标位置的最优路径。为解决表值学习方法在大范围状态空间中数据处理能力的不足,采用势场法优化DQN算法,一方面利用神经网络在数据处理上优势,另一方面通过势场法指导加速训练过程。设计路径规划方法并搭建复杂静态环境进行仿真实验,实验结果证明了改进后的算法能够在复杂静态环境中有效的进行路径规划。第四,针对动态环境下的移动机器人路径规划问题,搭建含有动态障碍元素的仿真环境,使用A3C算法设计路径规划方法进行仿真实验,实验结果显示移动机器人能够在环境中有效的规划路径,并且能够处理突发动态的障碍。然后以无人车自动驾驶为背景搭建仿真环境,采用Double DQN算法降低目标函数的过估计以减少在动态障碍环境中的影响因素,设无人车局部路径规划方法进行仿真实验,实验结果显示随着训练过程的进行无人车在环境中无碰撞行驶距离不断增加。第五,根据Pioneer3移动机器人运动学模型和约束条件搭建仿真环境,设计基于DDPG算法的路径规划方法进行仿真实验。在连续动作空间中寻找最优动作,通过训练得到一条最优路径。实验结果表明,该方法可以在移动机器人连续动作空间中选取动作并规划出一条无碰撞的最优路径。最后,对本论文所做的工作进行总结,对后续的研究工作进行了展望。
【学位授予单位】：济南大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP242
【图文】：

静态环境模型

图 3.3 静态未知环境路径规划仿真结果图过程中，由于前期没有一定的知识积累，所以前期从起始位置到达目长的路线，在这期间碰撞到障碍更是不可避免的。但是随着学习过人知识的不断积累，从起始位置到目标位置需要的步数逐渐减少，时收敛。但在之后还会出现小范围波动，原因是动作选择策略中仍有

图 3.4 训练过程中步数变化图化学习的目标是最大化学习过程中的累积奖赏，由于在学习初期不可避，而撞上障碍物获得的奖赏是-1，因此在训练初期累积奖赏是负值。训

【相似文献】

相关期刊论文 前10条

1 王赛;刘子龙;;基于4G网络的移动机器人远程控制研究[J];软件导刊;2019年11期

2 王宏玉;;移动机器人行业:百花齐放,快速发展[J];物流技术与应用;2019年03期

3 张淇元;;自适应巡航移动机器人的构建与编程[J];数字通信世界;2017年10期

4 赵杰;;以世赛集训为引领 推动学院水平提升——44届世赛移动机器人项目集训介绍[J];中国培训;2018年03期

5 杨洪志;;移动机器人的双臂结构设计要点研究[J];南方农机;2018年14期

6 任芳;;移动机器人助力无人仓落地——访杭州海康机器人技术有限公司副总裁吴尧[J];物流技术与应用;2018年10期

7 刘银萍;;全向移动机器人中电动机控制系统的研究[J];微电机;2016年12期

8 张燕;徐一超;盛洲;;A*算法在移动机器人自学习中的使用[J];单片机与嵌入式系统应用;2016年11期

9 薛金水;张新政;;改进遗传算法优化移动机器人动态路径研究[J];机床与液压;2017年07期

10 张皓;;四轮全向移动机器人转弯半径的研究[J];价值工程;2017年09期

相关会议论文 前10条

1 陈炜;马利;王立柱;;双臂移动机器人在不平路面激励下的振动特性分析[A];第十届动力学与控制学术会议摘要集[C];2016年

2 王润孝;仲于海;;四足移动机器人研究现状及核心关键技术[A];2017年第七届全国地方机械工程学会学术年会暨海峡两岸机械科技学术论坛论文集[C];2017年

3 汤亚锋;姚红;杨庆;;气浮式移动机器人的模糊运动控制方法[A];2009年中国智能自动化会议论文集（第一分册）[C];2009年

4 李斌;刘景泰;孙雷;王鸿鹏;李宝炯;;面向复杂环境作业的轮式滑动转向移动机器人平台设计[A];2009年中国智能自动化会议论文集（第二分册）[C];2009年

5 赵晖;王天然;刘德林;;分布式数据库在移动机器人中的应用[A];第十届全国数据库学术会议论文集[C];1992年

6 李伟;江晓佳;王彦昕;王永强;;基于模糊逻辑推理的室外移动机器人道路边沿抽取的方法[A];1995年中国智能自动化学术会议暨智能自动化专业委员会成立大会论文集（上册）[C];1995年

7 高志军;颜国正;丁国清;颜德田;;多移动机器人间通讯机制的设计与实现[A];中国仪器仪表学会第三届青年学术会议论文集（上）[C];2001年

8 郭丙华;胡跃明;吴忻生;;未知或已知环境中的非完整移动机器人运动规划[A];第二十一届中国控制会议论文集[C];2002年

9 刘国栋;吕福生;谢宏斌;;基于神经网络的移动机器人的路径规划研究[A];2003年中国智能自动化会议论文集（上册）[C];2003年

10 李世华;田玉平;;一种非完整移动机器人有限时间跟踪控制算法[A];江苏省自动化学会七届四次理事会暨2004学术年会青年学者论坛论文集[C];2004年

相关重要报纸文章 前10条

1 记者 张红波;云南技师学院郑棋元勇夺第45届世界技能大赛移动机器人项目金牌[N];云南经济日报;2019年

2 本报记者 黄辛 赵广立;给移动机器人装上“最强大脑”[N];中国科学报;2018年

3 整理 任紫;技能报国 正当其时[N];中国劳动保障报;2019年

4 湖南日报记者 姚学文;驰众 跻身工业移动机器人第一方阵[N];湖南日报;2018年

5 本报记者 郝晓明;移动机器人“冰屏”炫舞“北京八分钟”[N];科技日报;2018年

6 沈阳日报、沈报融媒记者 李海英;炫舞“北京8分钟” 沈阳新松移动机器人团队荣获“市长特别奖”[N];沈阳日报;2018年

7 本报记者 孙宏阳;移动机器人巡逻机场高速[N];北京日报;2017年

8 本报记者 周明阳;移动机器人：“百变万用”真神奇[N];经济日报;2015年

9 朱伟良 穗人社宣;广州选手摘金夺银创历史佳绩[N];南方日报;2017年

10 中国工业报记者 李芳蕾;履坦科技：打造地面行走的农机典范[N];中国工业报;2019年

相关博士学位论文 前10条

1 王志瑞;四面体杆式移动机器人的系统设计与研究[D];北京交通大学;2019年

2 张启彬;基于不确定性分析的移动机器人室内定位与导航控制方法研究[D];中国科学技术大学;2018年

3 李晔卓;可重构多模式地面移动机器人的构型设计与性能研究[D];北京交通大学;2018年

4 黄辰;基于智能优化算法的移动机器人路径规划与定位方法研究[D];大连交通大学;2018年

5 程传奇;非结构场景下移动机器人自主导航关键技术研究[D];战略支援部队信息工程大学;2018年

6 冯晟;基于无线传感器网络的移动机器人室内动态定位[D];东北大学;2017年

7 邱增帅;面向室外环境的移动机器人自主场景理解[D];大连理工大学;2018年

8 陈伟华;社会环境的轮式移动机器人定位导航方法研究[D];华南理工大学;2018年

9 欧屹;特种地面移动机器人机械系统设计与分析[D];南京理工大学;2013年

10 姜健;多移动机器人协作方法研究[D];哈尔滨工业大学;2008年

相关硕士学位论文 前10条

1 陈德平;基于RGBD相机的移动机器人算法研究[D];杭州电子科技大学;2019年

2 王鸿勃;基于移动机器人的校园无人配送系统研究[D];北京交通大学;2019年

3 柳杨;基于嵌入式平台的移动机器人定位与导航技术研究[D];河北工业大学;2017年

4 李安旭;移动机器人即时定位与地图构建技术研究[D];电子科技大学;2019年

5 丁聪;复杂路面下移动机器人关键部件自主控制及状态评估方法研究[D];电子科技大学;2019年

6 向卉;基于深度强化学习的室内目标路径规划研究[D];桂林电子科技大学;2019年

7 付华s

本文编号：2793236