基于深度强化学习的未知环境下机器人路径规划的研究

发布时间：2021-11-26 12:32

　　服务机器人在完成各种任务时经常需要进出房间,这就需要机器人能够在室内环境下,自主获取环境信息,然后进行路径规划和导航,导航对于自主移动机器人来说非常重要。在动态未知环境中,由于移动机器人处于局部环境中,有时并不能准确得到目标位罝,因此移动机器人只能根据反馈得到的局部信息来规划自己的路径。如何有效的利用已知信息就成了动态未知环境中路径规划的关键问题。传统的动态环境下的路径规划方法都需要依赖地图信息,在已知地图信息的前提下进行路径规划,无法在未知的环境中通过视觉伺服进行路径规划。本文通过深度强化学习的方式,在机器人无地图信息的情况下进行路径规划。首先,建立差速的移动机器人系统,为了验证模型的准确性与可靠性,在MATLAB中进行了多种运动学的仿真,包括点镇定、跟踪双曲线、跟踪圆周曲线等的测试,证明了运动学模型的可靠性。基于ROS建立了移动机器人的外形与运动学模型,在其上添加了Kinect视觉传感器与碰撞、速度里程计等传感器,并将各个传感器采集到的数据以消息的方式发布到了相应的主题上,通过订阅这些主题可以方便的获取机器人实时采集的环境信息,为之后进行路径规划奠定基础。然后,建立了深度强化学习的... 

【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校

【文章页数】：74 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第1章 绪论
    1.1 课题来源
    1.2 研究背景意义
    1.3 国内外研究现状
        1.3.1 经典路径规划算法
        1.3.2 进化算法和算法融合
        1.3.3 深度强化学习与路径规划
    1.4 研究内容
第2章 建立移动机器人运动学模型
    2.1 引言
    2.2 MATLAB下运动学建模并验证
        2.2.1 机器人运动学模型建立
        2.2.2 运动学模型合理性的验证
    2.3 基于ROS建立实验模型
        2.3.1 ROS总述
        2.3.2 以URDF建立机器人模型
        2.3.3 环境交互插件的编写
    2.4 仿真环境下验证运动学模型
    2.5 本章小结
第3章 基于Actor-Critic算法的路径规划
    3.1 引言
    3.2 强化学习方法
        3.2.1 基于值函数的强化学习方法
        3.2.2 基于策略的强化学习方法
        3.2.3 结合了基于值函数的策略梯度算法
    3.3 基于深度学习的强化学习
    3.4 本章小结
第4章 基于最小景深信息的深度强化学习训练
    4.1 引言
    4.2 优化状态空间的构建
    4.3 基于最小景深信息的训练
    4.4 算法实现与仿真验证
    4.5 本章小结
第5章 仿真实验搭建与实验研究
    5.1 引言
    5.2 系统的搭建
    5.3 仿真环境下训练并进行验证
    5.4 在真实环境下进行实验
        5.4.1 深度图像预处理
        5.4.2 机器人定位与坐标转换
        5.4.3 室内环境下实验
    5.5 本章小结
结论
参考文献
攻读学位期间发表过的学术论文及其他成果
致谢


【参考文献】：
期刊论文
[1]基于改进人工势场法的移动机器人路径规划[J]. 宋建辉,代涛,刘砚菊.  计算机工程与科学. 2017(07)
[2]CA模型下的改进D*路径规划算法[J]. 史久根,刘春霞,席海强.  电子测量与仪器学报. 2016(01)

博士论文
[1]加速强化学习方法研究[D]. 金钊.云南大学 2010



本文编号：3520151