无人机集群系统侦察监视任务规划方法

发布时间：2018-02-21 16:06

本文关键词： 无人机集群侦察监视多智能体系统不确定规划马尔科夫决策理论协调与合作潘多拉问题和潘多拉规则人与机器人交互　出处：《国防科学技术大学》2016年博士论文　论文类型：学位论文

【摘要】：如何将无人机集群系统部署于大范围环境中进行侦察监视,是未来无人机军事应用的重要问题之一。一方面,环境中往往分布着大量动态变化的子目标/子任务,亟需自动规划算法,实现无人机集群系统在不确定条件下进行连续侦察监视的快速规划;另一方面,无人机在复杂的环境中进行搜索时,往往需要人辅助提供一些关于环境的知识,所以需要设计良好的人与无人机进行交互的方式,实现在人辅助下进行搜索。基于此,论文的主要工作和创新点如下:(1)针对具有子模性规划目标的多智能体部分可观马尔科夫决策过程(MultiAgent Partially Observable Markov Decision Process,MPOMDP),首次提出了一种近似最优的多智能体在线规划算法。这种算法通过顺次分配技术(Sequential Allocation Technique)来依次计算每个智能体的策略,贪婪地最大化单个智能体对团队任务目标的边际贡献(Marginal Contribution),从而避免了直接考虑团队的联合策略(其导致的计算代价与智能体个数呈指数关系),使得计算复杂度随智能体个数呈多项式关系。论文通过理论证明该算法具有很好的近似最优性能。创新性工作为:使用顺次分配技术来计算智能体的策略,相比于其他的搜索团队联合策略空间的方法,这种方法具有很好的可扩展性,并能够满足问题的实时性要求。(2)针对传递函数解耦的部分可观马尔科夫决策过程(Transition-Decoupled POMDP,TD-POMDP),首次提出了具有良好可扩展性的在线规划算法——传递函数解耦的部分可观蒙特卡洛规划(Transition-Decoupled Partially Observable Monte-Carlo Planning,TD-POMCP),即一种基于蒙特卡洛树搜索(Monte Carlo Tree Search,MCTS)和max-sum的分散式在线算法。TD-POMCP的创新主要包括:1)根据局部智能体团队的局部联合动作和联合观测,利用TD-POMDP模型中变换依赖的弱耦合关系,对每个智能体分别构建一个前向搜索树;2)基于MCTS这种基于采样的搜索算法对每个智能体的搜索树进行扩展和更新;3)所有智能体通过分散式交互的方式同时进行对各自搜索树的扩展和更新。在搜索树中的每个规划步骤,通过max-sum这种分散式任意时间近似算法进行智能体的动作选择。论文通过理论证明这种方法具有很好可扩展性、鲁棒性、实时性和最优性,并且通过相关的仿真实验证明论文的方法可以成功应用于大规模TD-POMDPs。(3)基于MPOMDP和TD-POMDP模型,分别建立了在威胁环境和不确定性下的无人机集群系统进行侦察监视的集中式和分散式问题模型。这些问题的状态空间大小随环境中监视子目标个数的增加呈指数增长,使得通用的规划求解器无法求解这种大范围的侦察监视问题,更无法满足实际任务的实时性要求。因此,论文设计了随监视子目标个数线性增长的信念状态表示方式,并进一步定义了无人机集群系统侦察监视问题的形式化模型。基于此,设计了仿真实验,实验结果表明论文的算法能够成功应用于大规模无人机团队在大范围环境中进行集中式/分散式侦察监视的规划问题。与现有的侦察监视问题的求解方法相比,论文设计的问题模型与求解算法的创新点包括:1)基于智能体模型描述了无人机与环境和与其他无人机之间的交互方式;2)环境的模型能够表达其在时间和空间上的部分可观和非静态性质;3)求解算法在进行蒙特卡洛仿真时,通过不断保持对健康约束的检测,在规划中能够处理无人机可能遭受的来自威胁的伤害。(4)针对概率知识和人辅助下进行搜索的决策问题,建立了一个新颖的模型,即机器人和人的搜索问题(Robot-Human Search,RHS)。RHS描述了一类不确定知识下的搜索问题:一架自主无人机在人的有限辅助下,搜索环境中的某一物体(如一架坠落战机的碎片)。环境中的不确定性体现在物体的回报值以及人的可利用性(Availability)。无人机的目标是最大化所获物体的回报值并最小化总的搜索代价。论文证明这一结合人辅助的搜索问题在多项式时间内可解,这一结论在之前的文献研究中并未得出过。进一步,通过仿真实验来验证论文提出的方法,实验结果证明论文的方法显著优于一些基准算法。
[Abstract]:This paper presents an approximate optimal multi - agent on - line planning algorithm , which is based on Sequential Allocation Technique . The paper designs a distributed online algorithm based on Monte Carlo Tree Search ( MCTS ) and max - sum . ( 4 ) A novel model , called Robot - Human Search ( RHS ) , is established for the decision - making problem with probabilistic knowledge and human assistance . RHS describes a class of uncertain knowledge search problems : an autonomous unmanned aerial vehicle searches for an object in the environment , such as a falling fighter , under the limited assistance of a person . The uncertainty in the environment is reflected in the return value of the object and the availability of people . The goal of the unmanned aerial vehicle is to maximize the return value of the object and minimize the total search cost .

【学位授予单位】：国防科学技术大学
【学位级别】：博士
【学位授予年份】：2016
【分类号】：V279;V249;O225

【相似文献】