基于强化学习的无人船舶避碰导航及控制
发布时间：2021-03-09 09:36
研究实现高度自主控制的无人驾驶船舶是造船和航运产业的新目标,为完成无人船舶的海上自主智能航行,实现其自主避碰导航是航行安全的核心,自主运动控制是操纵船舶到达目的港的关键。针对这两个核心关键问题,本文基于自主强化学习理论,充分考虑国际海上避碰规则和航行避让经验,在融合船舶操纵特性的基础上展开系统的研究,提出并验证了一种面向船舶自动操纵避碰工程应用的无人船舶避碰导航及运动控制方法。针对复杂航行条件下的多船自动避碰难题,作者提出了一种基于深度强化学习的无人船舶自主智能避碰算法。通过在强化学习避碰任务的设计中融入船舶的操纵特性,不仅缩减了模型训练时间,而且提高了避碰模型适用性;论文将航行经验规则转化成动态的航行限制线以获得本船周围的全部可航区域,实现从全局角度衡量本船周围的航行态势给出避碰决策,使其不仅遵从航行经验规则且可灵活设置避让经验参数以适应各种复杂航行环境。最后基于同一强化学习避碰模型,利用三艘不同尺度和操纵性的缩尺自航船模,完成了数值仿真与水池避碰实验的系列对比测试,两者结果高度一致,验证了此避碰算法具有有效的避障能力,较好解决了无人船舶在开阔水域和受限水域中复杂的自动避碰难题。为进...
【文章来源】：大连海事大学辽宁省 211工程院校
【文章页数】：168 页
【学位级别】：博士
【部分图文】：
图２．?１船舶惯性坐标系和附体坐标系??Ｆｉｇ．?２．１?Ｔｈｅ?ｉｎｅｒｔｉａｌ?ａｎｄ?ｓｈｉｐ－ｆｉｘｅｄ?ｃｏｏｒｄｉｎａｔｅ?ｓｙｓｔｅｍ?ｆｏｒ?ｓｈｉｐ??
坐标轴转动。针对不同的研究目标，通常可以对船舶运动进行合理简化。所以根据本文??的研宄内容仅考虑船舶的平面运动，即纵荡、横荡和艏摇三个自由度运动。船舶平面运??动参考坐标如图２．２所示，ｖ为艏向角，表示从正北顺时针到船首的角度；ｒ为绕Ｚ轴??的转艏角速率；ｍ、ｖ分别表示纵向和横向速度；５表示实际舵角。??廣??Ｊ???图２．?２船舶平面运动坐标系??Ｆｉｇ．?２．２?Ｔｈｅ?ｐｌａｎｅ?ｃｏｏｒｄｉｎａｔｅ?ｓｙｓｔｅｍｓ?ｏｆ?ｓｈｉｐ?ｍｏｔｉｏｎ??由图２．２可见，在平面坐标系下船舶的位置与运动关系为：??＝?ｗ?ｃｏｓ，／／一?ｖ?ｓｉｒｎ／／??＝?ｖ?ｃｏｓ?（／／?＋?ｕ?ｓｉｎ?（２．１）??｛／／?－?ｒ??并且将船首向与船速Ｋ?＝?ｙｊｕ２＋ｖ２形成的夹角称为漂角。??２．?２分离型数学模型??分离型数学模型由日本船舶操纵性数学模型小组（Ｍａｎｏｅｕｖｒｉｎｇ?Ｍａｔｈｅｍａｔｉｃａｌ?Ｍｏｄｅｌ??Ｇｒｏｕｐ）于７０年代末提出，又称为ＭＭＧ模型，其主要特点是按照实际物理意义先独立??考虑作用于裸船体、敞水螺旋桨和敞水舵上的流体动力和力矩，然后再考虑它们之间的??－１７－??
?所谓强化学习是指智能体（Ａｇｅｎｔ）从环境到行为映射的学习，以使奖励信号函数（强??化信号）最大［１５３］。强化学习中智能体与环境的关系可用图３．１表示，具体而言就是智能??体通过其动作与环境进行交互作用，然后观测环境的状态变化以及根据状态变化设定的??强化信号来评估动作的好坏，如此反复试验或试错来学习经验以优化动作策略实现适应??环境达到好的控制效果。在深度学习技术发展以前，强化学习主要用于处理低维状态空??间和动作空间的任务，难以解决高维状态空间和动作空间的任务。现在通过将强化学习??与深度学习相结合，使得强化学习不再受限于高维状态空间和动作空间的任务，焕发出??了新的生机，更被称为人工智能的新希望。所以本章提出基于深度强化学习方法来解决??复杂航行条件下的无人船舶自主智能避碰问题。??动作???］ｆ；???智能体—环境??状态??图３．１强化学习中Ａｇｅｎｔ与环境的关系??Ｆｉｇ．?３．１?Ｔｈｅ?ｒｅｌａｔｉｏｎｓｈｉｐ?ｂｅｔｗｅｅｎ?ｒｅｉｎｆｏｒｃｅｍｅｎｔ?ｌｅａｒｎｉｎｇ?ａｇｅｎｔ?ａｎｄ?ｅｎｖｉｒｏｎｍｅｎｔ??针对当前船舶自动避碰算法存在的上述不足，本章基于深度强化学习中的深度Ｑ学??习算法
【参考文献】：
期刊论文
[1]“大智”轮的标志性意义[J]. 胥苗苗. 中国船检. 2017(12)
[2]基于线性自抗扰控制的船舶航迹积分滑模控制器[J]. 邱峰,李伟,宁君. 上海海事大学学报. 2017(03)
[3]“智能”助力 叩启航运新时代[J]. 赵远哲. 中国海事. 2017(08)
[4]基于复杂性地图的多船避碰模拟[J]. 文元桥,郑海涛,周春辉,肖长诗. 武汉理工大学学报(交通科学与工程版). 2017(03)
[5]无人驾驶船舶研究综述[J]. 高宗江,张英俊,孙培廷,李文华. 大连海事大学学报. 2017(02)
[6]基于速度障碍法和动态窗口法的无人水面艇动态避障[J]. 张洋洋,瞿栋,柯俊,李小毛. 上海大学学报(自然科学版). 2017(01)
[7]基于非奇异终端滑模的船舶航迹跟踪自抗扰控制[J]. 秦朝宇,李伟,宁君,孙建. 上海海事大学学报. 2016(03)
[8]水面无人艇航迹规划算法设计与仿真[J]. 苏义鑫,石兵华,张华军. 武汉理工大学学报. 2016(06)
[9]反潜新锐 美国“海上猎手”无人艇[J]. 温杰. 兵器知识. 2016(06)
[10]水面无人艇多船障碍智能避碰[J]. 茅云生,宋利飞,向祖权,周永清,茅普修,闫钊. 大连海事大学学报. 2015(04)
博士论文
[1]船舶避碰自动化关键技术研究[D]. 陈国权.大连海事大学 2016
[2]复杂海况下水面无人艇分层危险规避方法研究[D]. 唐平鹏.哈尔滨工程大学 2014
[3]欠驱动水面船舶航迹自抗扰控制研究[D]. 李荣辉.大连海事大学 2013
[4]基于克隆选择优化的船舶航向自适应控制[D]. 胡江强.大连海事大学 2008
硕士论文
[1]水面无人艇航迹控制算法研究[D]. 隋晓丽.大连海事大学 2013
[2]模型船的数学模型辨识[D]. 王春园.大连海事大学 2012
[3]国际干散货航运市场主要货种需求发展趋势研究[D]. 殷红.大连海事大学 2005
本文编号：3072656
【文章来源】：大连海事大学辽宁省 211工程院校
【文章页数】：168 页
【学位级别】：博士
【部分图文】：
图２．?１船舶惯性坐标系和附体坐标系??Ｆｉｇ．?２．１?Ｔｈｅ?ｉｎｅｒｔｉａｌ?ａｎｄ?ｓｈｉｐ－ｆｉｘｅｄ?ｃｏｏｒｄｉｎａｔｅ?ｓｙｓｔｅｍ?ｆｏｒ?ｓｈｉｐ??
坐标轴转动。针对不同的研究目标，通常可以对船舶运动进行合理简化。所以根据本文??的研宄内容仅考虑船舶的平面运动，即纵荡、横荡和艏摇三个自由度运动。船舶平面运??动参考坐标如图２．２所示，ｖ为艏向角，表示从正北顺时针到船首的角度；ｒ为绕Ｚ轴??的转艏角速率；ｍ、ｖ分别表示纵向和横向速度；５表示实际舵角。??廣??Ｊ???图２．?２船舶平面运动坐标系??Ｆｉｇ．?２．２?Ｔｈｅ?ｐｌａｎｅ?ｃｏｏｒｄｉｎａｔｅ?ｓｙｓｔｅｍｓ?ｏｆ?ｓｈｉｐ?ｍｏｔｉｏｎ??由图２．２可见，在平面坐标系下船舶的位置与运动关系为：??＝?ｗ?ｃｏｓ，／／一?ｖ?ｓｉｒｎ／／??＝?ｖ?ｃｏｓ?（／／?＋?ｕ?ｓｉｎ?（２．１）??｛／／?－?ｒ??并且将船首向与船速Ｋ?＝?ｙｊｕ２＋ｖ２形成的夹角称为漂角。??２．?２分离型数学模型??分离型数学模型由日本船舶操纵性数学模型小组（Ｍａｎｏｅｕｖｒｉｎｇ?Ｍａｔｈｅｍａｔｉｃａｌ?Ｍｏｄｅｌ??Ｇｒｏｕｐ）于７０年代末提出，又称为ＭＭＧ模型，其主要特点是按照实际物理意义先独立??考虑作用于裸船体、敞水螺旋桨和敞水舵上的流体动力和力矩，然后再考虑它们之间的??－１７－??
?所谓强化学习是指智能体（Ａｇｅｎｔ）从环境到行为映射的学习，以使奖励信号函数（强??化信号）最大［１５３］。强化学习中智能体与环境的关系可用图３．１表示，具体而言就是智能??体通过其动作与环境进行交互作用，然后观测环境的状态变化以及根据状态变化设定的??强化信号来评估动作的好坏，如此反复试验或试错来学习经验以优化动作策略实现适应??环境达到好的控制效果。在深度学习技术发展以前，强化学习主要用于处理低维状态空??间和动作空间的任务，难以解决高维状态空间和动作空间的任务。现在通过将强化学习??与深度学习相结合，使得强化学习不再受限于高维状态空间和动作空间的任务，焕发出??了新的生机，更被称为人工智能的新希望。所以本章提出基于深度强化学习方法来解决??复杂航行条件下的无人船舶自主智能避碰问题。??动作???］ｆ；???智能体—环境??状态??图３．１强化学习中Ａｇｅｎｔ与环境的关系??Ｆｉｇ．?３．１?Ｔｈｅ?ｒｅｌａｔｉｏｎｓｈｉｐ?ｂｅｔｗｅｅｎ?ｒｅｉｎｆｏｒｃｅｍｅｎｔ?ｌｅａｒｎｉｎｇ?ａｇｅｎｔ?ａｎｄ?ｅｎｖｉｒｏｎｍｅｎｔ??针对当前船舶自动避碰算法存在的上述不足，本章基于深度强化学习中的深度Ｑ学??习算法
【参考文献】：
期刊论文
[1]“大智”轮的标志性意义[J]. 胥苗苗. 中国船检. 2017(12)
[2]基于线性自抗扰控制的船舶航迹积分滑模控制器[J]. 邱峰,李伟,宁君. 上海海事大学学报. 2017(03)
[3]“智能”助力 叩启航运新时代[J]. 赵远哲. 中国海事. 2017(08)
[4]基于复杂性地图的多船避碰模拟[J]. 文元桥,郑海涛,周春辉,肖长诗. 武汉理工大学学报(交通科学与工程版). 2017(03)
[5]无人驾驶船舶研究综述[J]. 高宗江,张英俊,孙培廷,李文华. 大连海事大学学报. 2017(02)
[6]基于速度障碍法和动态窗口法的无人水面艇动态避障[J]. 张洋洋,瞿栋,柯俊,李小毛. 上海大学学报(自然科学版). 2017(01)
[7]基于非奇异终端滑模的船舶航迹跟踪自抗扰控制[J]. 秦朝宇,李伟,宁君,孙建. 上海海事大学学报. 2016(03)
[8]水面无人艇航迹规划算法设计与仿真[J]. 苏义鑫,石兵华,张华军. 武汉理工大学学报. 2016(06)
[9]反潜新锐 美国“海上猎手”无人艇[J]. 温杰. 兵器知识. 2016(06)
[10]水面无人艇多船障碍智能避碰[J]. 茅云生,宋利飞,向祖权,周永清,茅普修,闫钊. 大连海事大学学报. 2015(04)
博士论文
[1]船舶避碰自动化关键技术研究[D]. 陈国权.大连海事大学 2016
[2]复杂海况下水面无人艇分层危险规避方法研究[D]. 唐平鹏.哈尔滨工程大学 2014
[3]欠驱动水面船舶航迹自抗扰控制研究[D]. 李荣辉.大连海事大学 2013
[4]基于克隆选择优化的船舶航向自适应控制[D]. 胡江强.大连海事大学 2008
硕士论文
[1]水面无人艇航迹控制算法研究[D]. 隋晓丽.大连海事大学 2013
[2]模型船的数学模型辨识[D]. 王春园.大连海事大学 2012
[3]国际干散货航运市场主要货种需求发展趋势研究[D]. 殷红.大连海事大学 2005
本文编号：3072656
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3072656.html
