动态环境下的无人机避碰技术研究

发布时间：2020-11-11 12:38

　　 随着无人机相关技术及产业的不断发展,其在侦察、农业、物流、娱乐等方面的使用率也逐渐提高。又由于无人机飞行环境的日益复杂,在飞行过程中进行自主避碰已经成为现代无人机保障周边环境以及自身安全所必须具备的能力。自主避碰决策属于典型的智能体决策问题,现有的传统决策方法局限于状态分类和策略选择,难以实现自主决策,且算法性能有限。本文将深度增强学习理论引入无人机自主避碰决策过程。首先将动态障碍环境下的无人机避障问题建模为智能体在变化环境中的动作决策问题,将障碍物和智能体状态及动态变化的环境向量化,作为深度增强网络的输入向量,将深度增强网络的输出转化为智能体的动作。在训练过程中,智能体采用不同的动作,会获得不同的奖励值,依据“不同状态下采用不同动作得到的不同奖励值”,运用反向传播算法更新网络参数,从而在与环境的交互中不断学习以实现智能体(即无人机)的自主决策。使用单网络结构的无人机避障算法由于在估计动作价值时反复取用最大理论价值,导致正向误差的累积,会做出过度乐观的估计。本文将单网络结构变换为双网络结构,在训练学习过程中,解耦了最优动作选择和动作价值估计,降低了单网络结构无人机避障算法的过度估计问题,提高了避障算法的性能。本文在更新网络参数阶段,设立一个用于存储交互经验的回放单元,从中抽取历史经验,以破坏用来更新网络参数的状态-行为-奖励组合的时间相关性。最后,对经验回放算法加以改进,提出了一种深度Q学习指数优先经验回放算法。该算法通过重新设计抽取历史经验时经验重要程度到抽取概率的映射函数,使其在选择需要学习的回放单元时,可以优先自动选择更为重要的回放单元。对比传统算法的单一映射函数,本文提出的的算法既保证了智能体决策的质量、使智能体能够学习到最优的策略,又有效的提升了任务表现、提高了决策效率。在实验仿真验证中,本文首先进行了所提出算法的直观模型策略分析,然后进行了代价函数分析、效率分析以及各算法的任务表现对比。最后通过对比分析改进算法在测试环境和无人机避障模拟环境下的仿真结果,证明了本文所提出的改进算法可以使智能体做出更加高效优质的决策,即在取得更好避障效果的同时花费更少的时间。
【学位单位】：哈尔滨工业大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：V279
【部分图文】：

a) 二维障碍环境示意图 b) 三维障碍环境示意图图 2-1 问题描述示意图图 2-1 a）是无人机在二维动态障碍环境避障建模示意图。其中无人机处于 1000*800 的网格空间内，起始位置在点（900,700），目标位置在点（100,100）。无人机和障碍物的安全半径都设为 10，无人机向八个方向探测障碍物位置。障碍物以近似随机的运动方式运动，障碍物有三种运动状态分别是直线运动，圆周运动和原地转弯，在训练的开始，障碍物处在三种运动状态下的概率分别是 30%，30%，40%，每轮更新有 10%的概率转换运动状态，在三种运动状态之间转换的概率如图 2-2 所示：

维障碍环境示意图 b) 三维障碍环图 2-1 问题描述示意图是无人机在二维动态障碍环境避障建模示意图网格空间内，起始位置在点（900,700），目标位置物的安全半径都设为 10，无人机向八个方向探随机的运动方式运动，障碍物有三种运动状态分地转弯，在训练的开始，障碍物处在三种运动状40%，每轮更新有 10%的概率转换运动状态，率如图 2-2 所示：

图 2-3 障碍物运动模型直线运动的模拟障碍物，蓝色代表圆弧运、浅粉代表结合了两种以上运动方式的混程度上可以实现“随机”“交错”运动。人群、飞鸟或其他无人机等运动方式无法速度标量设置为模拟速度 10 以内，除了匀速巡航。无人机在三维动态障碍环境避障建模示意00 的网格空间内，起始位置在点（500,500。无人机和障碍物的安全半径都设为 20，方向探测障碍物位置，探测半径为 120，维空间类似，以近似随机的运动方式运动向，新方向是极坐标(ρ,φ)，其中ρ,φ符合( 40，每回合有 10%的概率变换速度，速率分别是 30%，30%，40%。无人机保持
【相似文献】

相关期刊论文 前10条

1 文元桥;郑海涛;周春辉;肖长诗;;基于复杂性地图的多船避碰模拟[J];武汉理工大学学报(交通科学与工程版);2017年03期

2 薛彦卓;魏伊;孙淼;;基于避碰重点船算法的多船避碰模拟[J];大连海事大学学报;2014年01期

3 施平安;鲁俊;;能见度不良两船互见后的避碰行动分析[J];广州航海高等专科学校学报;2012年01期

4 彭德洋;;“协议避碰”的性质[J];世界海运;2007年02期

5 陈锦标,王则胜;多船自动避碰决策探讨[J];南通航运职业技术学院学报;2005年03期

6 李丽娜,孙腾达,黄丽卿;关于船舶自动避碰仿真方法的研究[J];仪器仪表学报;2004年S1期

7 逢金雷,王桂军,张志强;解析法分析旋回对避碰的影响[J];航海技术;2003年02期

8 李丽娜,熊振南,任勤生;多船避碰智能决策的生成与优化方法[J];信息与控制;2003年02期

9 黄伟梧;汽车紧急避碰的四条要则[J];劳动保护;2003年06期

10 K．H．Kwik;基于避碰操纵知识库的安全海运(英)[J];船舶力学;1998年02期

相关博士学位论文 前9条

1 陈立家;海上多目标船智能避碰辅助决策研究[D];武汉理工大学;2011年

2 张金奋;船舶碰撞风险评价与避碰决策方法研究[D];武汉理工大学;2013年

3 郑中义;船舶自动避碰决策系统的研究[D];大连海事大学;2000年

4 陈国权;船舶避碰自动化关键技术研究[D];大连海事大学;2016年

5 杨神化;基于Multi-agent的船舶避碰决策支持系统[D];上海海事大学;2008年

6 欧阳帆;双机器人协调运动方法的研究[D];华南理工大学;2013年

7 李旺;水面无人艇航迹规划与跟踪技术研究[D];哈尔滨工程大学;2016年

8 薛颂东;面向目标搜索的群机器人协调控制及其仿真研究[D];兰州理工大学;2009年

9 毕修颖;船舶碰撞危险度及避碰决策模型的研究[D];大连海事大学;2000年

相关硕士学位论文 前10条

1 牟诗璇;动态环境下的无人机避碰技术研究[D];哈尔滨工业大学;2019年

2 付彦超;游艇活动水域碰撞风险度量与避碰决策方法研究[D];武汉理工大学;2018年

3 陈文玉;规则约束下无人船实时避碰方法研究[D];南京大学;2019年

4 郭峰;小型USV高速运动条件下避碰规划方法研究[D];哈尔滨工程大学;2019年

5 练青坡;多USV避碰规划与学习方法研究[D];哈尔滨工程大学;2019年

6 薛嘉欢;双工业机器人协调避碰运动研究[D];东北电力大学;2017年

7 胥文;基于克隆选择优化的多船避碰决策研究[D];大连海事大学;2017年

8 刘伟;协议避碰法律问题研究[D];大连海事大学;2016年

9 王哲;无人艇自动避碰策略的研究[D];大连海事大学;2013年

10 高鹏;人机协作中机器人主动避碰技术研究[D];华南理工大学;2015年

本文编号：2879191