空中机器人的层次化决策与控制系统研究

发布时间：2020-05-29 13:08

【摘要】：近十年来,基于多旋翼结构的无人机在人类生产生活中越发常见,在如电路巡检、警务处置、影视拍摄、科学研究等场景中发挥了越来越重要的作用。多旋翼以其结构简单、机动灵活、易于控制的特点,在众多应用场景当中受到了欢迎,成为生产生活中重要工具之一。但与此同时,绝大多数多旋翼无人机依然工作在姿态增稳模式之中,在中层(规划层)和上层(决策层)都还非常缺乏相应的智能算法,基本依靠飞手手动操作,在复杂场景当中难以做出有效的决策。强化学习是一种近年来飞速发展的决策算法。针对传统优化算法难以处理的复杂环境下长时序决策问题,强化学习能够提供较为直观的建模和求解方法,目前已经在电脑游戏等领域取得了巨大的成功。将其应用于多旋翼空中机器人的决策层面,需要在强化学习层面对中下层的控制器进行一定程度的考量。如中下层控制器成功完成该决策的概率,以及完成此动作所需要的时间。这是一个将人工智能领域和机器人领域进行结合,较为有挑战性的课题。本文以国际空中机器人大赛第七代任务-牧羊犬行动为具体应用,采用分层进行控制、规划和决策的方法,实现了空中机器人的完全自主层次化决策。本文主要内容和研究成果包括以下五个方面:1.空中机器人拦截地面移动机器人,需要依照不断更新的目标位置动态地规划轨迹。为了稳定地实现拦截,本文提出了三段式规划方法,将整个交互过程分为巡航、跟踪和进近三个独立阶段。针对每个阶段,提出了滚动二次型动态规划方法来生成轨迹,并将其与四旋翼飞行平台的姿态和控制器结合,实现了对地面移动目标的拦截。2.对于目标位置的滤波和预测也是控制系统的重要一环。传统滤波方法依赖于对系统建模的精确度,建模误差会引起滤波结果的误差,且滤波器本身无法解决这个问题。本文提出了一种将神经网络结合进机理建模的方法来提升预测结果。在该模型中,生成滤波结果、用滤波结果训练神经网络、用训练好的神经网络更新系统模型是一个滚动的过程。在结合了神经网络之后,滤波和预测的结果有了显著提升。3.鉴于空中机器人实验的复杂性、风险和诸多困难,仿真环境是非常重要的科研工具。我们在实践中对其提出四点需求:动力学和碰撞引擎、多智能体运动、传感器仿真、仿真结果可视化。通过将ROS和Gazebo环境结合,实现了空中机器人仿真系统,并满足了以上四点要求。进一步,为了验证牧羊犬行动每次触碰所花时间的预测模型,我们采用路径积分控制在该仿真系统中做了实验,并且对时间预测模型进行了验证。4.针对国际空中机器人大赛-牧羊犬行动的顶层决策问题,我们采用马尔科夫决策过程对其进行了建模。由于该问题是在一个连续时间连续状态的多智能体系统中进行离散决策,因此存在决策结果(动作)需要一段变化长度的时间来完成的问题,我们将其命名为动作滞后。通过已知模型将动作滞后和奖励相关联,以及将连续状态量离散成一个查找表,进而对查找表随机采样来初始化并生成对应的动作奖励,成功解决了牧羊犬行动的决策问题。5.进一步,我们通过对牧羊犬问题系统分析,从中抽象出了带动作时间的强化学习这一类问题。该问题可以通过建立层次化系统,将上层决策输出和底层控制设定值输入结合,提前训练时间预估模型并将其结合进强化学习框架来解决。基于此,我们提出了层次化的强化学习与底层控制器结合的框架,创造性地解决了类似连续时间受控系统中进行离散上层决策的问题。本文的研究场景主要集中于国际空中机器人大赛第七代任务-牧羊犬行动,各项研究结果也实际应用到了作者所在队伍参赛过程当中。其成果主要包括:1)2016年基于马尔科夫决策过程的决策系统研究报告首次提交大赛组委会,成为组委会当年修改比赛规则的重要参考依据;2)2016-2018年,作者所在队伍均采用了三段式轨迹规划方法拦截地面目标,取得了极高的成功率;3)2017年,基于本文研究结果,首次将基于时间和状态的决策器在参赛空中机器人中编程实现,当年成功完成3次驱赶,排名全世界参赛队伍第一位;4)2018年作者所在队伍沿用上述框架,最终完成第七代任务,成为此项大赛28年历史上第七代世界冠军。
【图文】：

国际,机器人,冠军,官方

设计和算法实现来解决问题。逡逑国际空中机器人大赛的任务是以“代”来计算的，在一个任务发布之后，需要若干逡逑年这一代任务完成，才会进入到下一代任务。如图１．１是国际空中机器人大赛官方网站上逡逑发布的历代任务冠军得主５，七届冠军队伍及其任务持续时间分别为斯坦福大学（１９９１－逡逑１９９５）、卡耐基梅隆大学（１９９６－１９９７）、柏林工业大学（１９９８－２０００）、佐治亚理工学院逡逑（２００１－２００８）、麻省理工学院（２００９）、清华大学（２０１０－２０１３）和浙江大学（２０１４－２０１８）。逡逑持续时间最长的第４代任务花费了邋８年时间才得以完成，本文主要讨论的第７代任务也历时逡逑五年。逡逑２０１２年之前，，国际空中机器人大赛均在美国举办。２０１２年开始，国际空中机器人大赛逡逑设立亚太赛区（Ａｓｉａ／Ｐａｃｉｆｉｃ邋Ｖｅｎｕｅ邋），由中国航空协会（Ｃｈｉｎｅｓｅ邋Ｓｏｃｉｅｔｙ邋ｏｆ邋Ａｅｒｏｎａｕｔｉｃｓ邋ａｎｄ逡逑Ａｓｔｒｏｎａｕｔｉｃｓ，邋ＣＳＡＡ）联合主办。亚太赛区和美洲赛区（Ａｍｅｒｉｃａｎ邋Ｖｅｎｕｅ）邋ｔｂ赛规则QR全逡逑一致，成绩同等对待。在任务没有完成的年份，亚太赛区依照参赛队伍的表现为参赛队伍逡逑颁布前三名名次奖项和各项技术类细分奖项。逡逑１．３．１第７代任务：牧羊犬行动逡逑我们首先筒单介绍一下国际空中机器人大赛第七代任务：牧羊犬行动。对应真实的牧逡逑羊犬驱赶羊群回羊圈的行为，该比赛共有如下几个元素：逡逑？草地：一个２０米乘以２０米的正方形场地。逡逑？羊圈：位于该正方形场地的正北

飞行平台,参加国,团队,机器人

赛成绩第一、总分数第一，获得第７代任务全球总冠军。逡逑硬件方面，ＺＭＡＲＴ参赛平台由机体系统、动力系统、能源系统、飞控系统、感知逡逑系统、机载电脑、执行机构七大部分组成，如图１．２所示。其中机体、动力、能源、飞逡逑控以及一部分感知系统采用了大疆创新（ＤａＪｉａｎｇ邋Ｉｎｎｏｖａｔｉｏｎ，邋ＤＪＩ）的成套解决方案经逡逑纬１００邋（Ｍａｔｒｉｃｅｓ邋１００，Ｍ１００）。对于感知系统，我们采用了一个能覆盖半球面视野的逡逑鱼眼摄像头和一个覆盖１２０度的广角摄像头，以尽可能的覆盖更大视野范围，以及一逡逑个Ｈｏｋｕｙｏ／ＲＰｌｉｄａｒ的激光雷达来规避障碍物。机载电脑是硬件系统中最重要的部分之一，逡逑需要满足重量、功耗、尺寸、性能等一系列苛刻的要求，在整个参赛过程中，我们主要采逡逑用了因特尔ＮＵＣ、英伟徶ＴＫ１、ＴＸ２三款机载电脑。执行机构是使空中机器人物理接触地逡逑面目标机器人的机构，我们设计了并联机械臂以达到这个目的。逡逑ＲＰＬＩＤＡＲ邋Ａ２逦７Ｘ２逡逑R[逦／逦ＨＩＳＳ－逦一逦逦／逡逑＼邋０ＪＩ邋Ｇｕｉｄａｎｃｅ逡逑广，明像头邋／逦Ｎ逦逡逑＼邋０ＪＩ邋Ｇｕｉｄａｎｃｅ逡逑２０１７年参赛空中机器人逦２０１８年参赛空中机器人逡逑图１．２邋ＺＭＡＲＴ团队参加国际空中机器人大赛的飞行平台逡逑算法部分是我们工作的主要部分
【学位授予单位】：浙江大学
【学位级别】：博士
【学位授予年份】：2019
【分类号】：TP242

【相似文献】