基于深度强化学习的移动机器人在多个动态障碍物环境下避障研究
发布时间：2021-01-21 17:45
移动机器人的出现,提高了社会的生产效率。移动机器人的难点在于避障,尤其是在有动态障碍物的环境中,移动机器人与动态障碍物之间没有相互的通信情况下,动态障碍物的目标点无法被移动机器人得知。除此之外,为了找出花费时间最短的路径,通常还需要考虑动态障碍物之间的相互的影响,如果运用传统的解析法,计算量是巨大的,例如最佳相互避免碰撞算法。目前移动机器人动态避障存在着计算量大,实时性差,动态障碍物数量增加稳定性变差等问题。本文为了解决这些问题,提出一种基于深度强化学习的方法来避免移动机器人与动态障碍物发生碰撞。本文主要研究移动机器人动态避障问题,根据移动机器人特点和要完成的任务,设计一个深度强化学习模型。使用部分可观测的信息,在移动机器人与动态障碍物互不通信的情况下移动机器人能够无碰撞到达目标。该模型在深度Q网络基础上做出针对性的改进,引入长短时记忆神经网络对状态进行预处理,同时对于经验池的设置进行修改。本文通过仿真验证算法的可靠性和稳定性,仿真结果表明经过改进方法更加稳定,移动机器人到达指定目标点的时间缩短。为了动态障碍物数量增加时算法依然稳定,引入了注意力机制,使得移动机器人在作决策时更加关注那...
【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校
【文章页数】：61 页
【学位级别】：硕士
【部分图文】：
使用深度学习进行导航的网络结构[14]
哈尔滨工业大学工程硕士学位论文a)迎宾机器人b)仓储机器人图1-3迎宾机器人和仓储机器人条件下，经常会有一组预测路径不可逆转导致机器人冻结。基于轨迹的方法经常产生质量更好的路径，但是这种方法计算量大，而且需要的信息也比当前可用信息多，如需要其他移动机器人的目标。而且，模型可能产生不符合计划的路径，特别是在几秒以后的未来不可知的情况下，因此基于轨迹的方法还需要以高(传感器更新)的速率运转，这又更加加剧了计算问题。在动态环境下对移动机器人进行路径规划使得移动机器人避免碰撞，其求解难度会随和移动障碍物的个数和动态程度提高而指数倍提升。不仅要对移动机器人的周围环境进行检测，还有根据检测结果进行实时的避障，目前国内外学者对静态环境下的避障与路径规划研究较多，对动态避障研究较少。移动机器人的动态避障的快速完成，对于移动机器人的应用场景扩展和提高运行效率有着巨大的作用。为了提高移动机器人动态避障的效率，学者们提出了社会感知[24]的概念，在此之后随着很多新的方法出现如深度强化学习，注意力机制，这些基于学习的方法都一定程度上提高了移动机器人的发展，解决了计算方面的问题[25,26]。1.3本文的主要研究内容根据研究现状分析，对于移动机器人的动态避障问题，我们考虑的更多的是局部规划的方案，而局部规划容易陷入局部最优的困境之中，而且为了增强算法的泛化能力，让算法适用于更多场景，完成移动机器人的动态避障，同时保证其实-6-
哈尔滨工业大学工程硕士学位论文第2章深度强化学习关键理论与技术深度学习在特征提取方面有很强的能力，强化学习有优秀的决策能力，深度强化学习继承了两者的优势，这样可以高效对于高维信息进行处理直接输出控制，这种系统可称为端对端的系统，有很强的实时性。是最近一段时间人工智能领域的受关注的方向。本章会介绍深度强化学习的理论基矗分析深度学习与强化学习的理论框架的相关概念，以及后续研究所运用的概念。2.1深度学习模型2006年，Hinton等人提出了一种深度信念网络（deepbeliefnetwork,DBN）[27]，它引入了“预训练+微调”的多层神经网络训练方法，从而为深度学习研究打开了序幕。深度学习是在原始的人工神经网络的基础上开发的，人工神经网络的研究可以追溯到1940年代。它最初是受到生物神经系统与现实世界物体相互作用的启发，与传统的神经网络相比，深度神经网络（DeepNeuralNetwork,DNN）网络结构具有更多的隐藏层，而较低的层具有较高的隐藏层。隐藏层传递输入信号，高级隐藏层将错误传递给较低的隐藏层。图2-1显示了深度神经网络的结构。由于深度图2-1深度神经网络的结构学习模型具有更多的层次，因此深度学习模型自然具有更强大的特征抽象和表达能力，可以更详细地描述更复杂的目标并完成更复杂的任务，但是深度学习模型-8-
【参考文献】：
期刊论文
[1]深度强化学习研究综述[J]. 赵星宇,丁世飞. 计算机科学. 2018(07)
博士论文
[1]四足机器人环境感知、识别与领航员跟随算法研究[D]. 张慧.山东大学 2016
硕士论文
[1]基于神经网络的兴趣点推荐算法的研究[D]. 周倩如.黑龙江大学 2019
本文编号：2991616
【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校
【文章页数】：61 页
【学位级别】：硕士
【部分图文】：
使用深度学习进行导航的网络结构[14]
哈尔滨工业大学工程硕士学位论文a)迎宾机器人b)仓储机器人图1-3迎宾机器人和仓储机器人条件下，经常会有一组预测路径不可逆转导致机器人冻结。基于轨迹的方法经常产生质量更好的路径，但是这种方法计算量大，而且需要的信息也比当前可用信息多，如需要其他移动机器人的目标。而且，模型可能产生不符合计划的路径，特别是在几秒以后的未来不可知的情况下，因此基于轨迹的方法还需要以高(传感器更新)的速率运转，这又更加加剧了计算问题。在动态环境下对移动机器人进行路径规划使得移动机器人避免碰撞，其求解难度会随和移动障碍物的个数和动态程度提高而指数倍提升。不仅要对移动机器人的周围环境进行检测，还有根据检测结果进行实时的避障，目前国内外学者对静态环境下的避障与路径规划研究较多，对动态避障研究较少。移动机器人的动态避障的快速完成，对于移动机器人的应用场景扩展和提高运行效率有着巨大的作用。为了提高移动机器人动态避障的效率，学者们提出了社会感知[24]的概念，在此之后随着很多新的方法出现如深度强化学习，注意力机制，这些基于学习的方法都一定程度上提高了移动机器人的发展，解决了计算方面的问题[25,26]。1.3本文的主要研究内容根据研究现状分析，对于移动机器人的动态避障问题，我们考虑的更多的是局部规划的方案，而局部规划容易陷入局部最优的困境之中，而且为了增强算法的泛化能力，让算法适用于更多场景，完成移动机器人的动态避障，同时保证其实-6-
哈尔滨工业大学工程硕士学位论文第2章深度强化学习关键理论与技术深度学习在特征提取方面有很强的能力，强化学习有优秀的决策能力，深度强化学习继承了两者的优势，这样可以高效对于高维信息进行处理直接输出控制，这种系统可称为端对端的系统，有很强的实时性。是最近一段时间人工智能领域的受关注的方向。本章会介绍深度强化学习的理论基矗分析深度学习与强化学习的理论框架的相关概念，以及后续研究所运用的概念。2.1深度学习模型2006年，Hinton等人提出了一种深度信念网络（deepbeliefnetwork,DBN）[27]，它引入了“预训练+微调”的多层神经网络训练方法，从而为深度学习研究打开了序幕。深度学习是在原始的人工神经网络的基础上开发的，人工神经网络的研究可以追溯到1940年代。它最初是受到生物神经系统与现实世界物体相互作用的启发，与传统的神经网络相比，深度神经网络（DeepNeuralNetwork,DNN）网络结构具有更多的隐藏层，而较低的层具有较高的隐藏层。隐藏层传递输入信号，高级隐藏层将错误传递给较低的隐藏层。图2-1显示了深度神经网络的结构。由于深度图2-1深度神经网络的结构学习模型具有更多的层次，因此深度学习模型自然具有更强大的特征抽象和表达能力，可以更详细地描述更复杂的目标并完成更复杂的任务，但是深度学习模型-8-
【参考文献】：
期刊论文
[1]深度强化学习研究综述[J]. 赵星宇,丁世飞. 计算机科学. 2018(07)
博士论文
[1]四足机器人环境感知、识别与领航员跟随算法研究[D]. 张慧.山东大学 2016
硕士论文
[1]基于神经网络的兴趣点推荐算法的研究[D]. 周倩如.黑龙江大学 2019
本文编号：2991616
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/2991616.html
