非参数化贝叶斯模型的机器人多模态感知与学习

发布时间：2020-04-30 06:09

【摘要】：机器人与人共处、相互协作成为现代生产和生活中的迫切诉求,“人机共融”和“人机协作”的概念自然而生,至今已有多年。与人共享智能、具有共同行为、协作完成共同任务(智能共融、行为共融和任务共融)是其基本特征和要素,已成为国内外学术界的共识。人机共融的前提条件是人-机和平共处,即“安全共融”。虽然目前已有许多稳定和鲁棒的机器人控制算法,但是人机共融作业处于非结构化和非标准化的动态环境中,无法对其进行完备和准确地建模与解析,存在着系统的内部误差或者外部的异常,如人为碰撞、物体滑落和工具碰撞等。为了赋予机器人更长期的自治和更安全的人机共融环境,机器人必须进行实时多模态信息的融合建模,进而实现自身运动行为的精准感知(Introspection)和异常修复策略的学习。因此,本文对机器人多模态感知与学习进行系统深入的理论研究和实践探索,主要研究内容和取得的成果如下:(1)针对学习与泛化机器人复杂任务的问题,以机器人示范学习的理论为背景,提出了结合动态运动基元(Dynamical Movement Primitive,DMP)和有限状态机(Finite State Machine,FSM)把机器人的复杂操作任务分割成序列化的运动基元,即参数化的有向图描述形式,以提高操作任务的适应性与多样性。(2)针对多模态融合的问题,本文将此问题抽象为如何有效地建立与解析多维时间序列的概率模型,以隐性马尔科夫模型(Hidden Markov Model,HMM)为理论背景,考虑其在多维时间序列建模上存在着隐性状态数量的不确定性和隐性状态间高频转换的两个关键问题,会大幅度地消弱对时间序列的建模能力和时间的一致性(Consistency),提出了采用非参数化贝叶斯的粘性层级狄利克雷过程隐性马尔科夫模型(Sticky Hierarchical Dirichlet Process Hidden Markov Model,sHDP-HMM)对机器人操作任务过程中的末端速度信息、末端力/力矩信息、末端执行器的触觉信息及其相关的统计学信息(如:均值和方差等)进行联合建模的方法。(3)在多模态融合的基础上,提出了采用非参数化贝叶斯模型的机器人实时运动行为识别与异常监测的方法。首先,借助机器人操作任务的参数化描述,利用sHDP-HMM对机器人正常执行多次任务后各运动基元所产生的多模态数据进行建模。然后,通过对比实时观测数据的累积对数似然函数值的形式实现机器人运动行为的识别。最后,在运动行为已知的情况下,依次基于对数似然函数值、对数似然函数梯度值和隐性状态与对数似然函数值映射关系的三种不同异常阈值实现机器人异常监测。(4)在多模态异常监测的基础上,提出了基于非参数化贝叶斯模型的机器人多模态异常的多目标分类器方法。具体表现为:在异常事件发生时刻的前后按给定窗口的大小提取异常的样本,为各个异常类型学习sHDP-HMM模型,采用交叉验证的方法选择最优的模型;通过对比测试样本在各模型下的对数似然函数值之和实现异常分类。(5)在机器人的异常监测与分类的基础上,学习人类对于瞬时性和持续性两种异常事件的修复经验和意图,对应地提出了两种任务级的机器人异常修复策略:采用多项式分布对机器人瞬时性异常进行运动重做的修复策略;采用人为示范修复并参数化运动描述的方式对机器人持续性异常进行运动调整的修复策略。(6)综合以上的研究内容与成果,为了赋予机器人更长期的自治和更安全的人机共融环境,在传统机器人控制框架Sense-Plan-Act(SPA)的基础上增加了机器人感知(运动行为识别、异常监测、异常分类)阶段和异常修复阶段,提出了一个机器人多模态感知与学习的系统框架SPAIR(Sense-Plan-Act-Introspect-Recover)。该框架主要包括四个功能模块:1)机器人复杂任务的有向图描述;2)机器人运动行为的泛化与识别;3)机器人执行过程中的异常监测与分类;4)机器人异常事件的修复策略学习。
【图文】：

动态环境,非结构化,机器人,柔性

传统工业机器人在标准化和自动化生产中发挥了重大作用，但受其功能和智能化逡逑水平的限制，这种与人隔离、缺乏足够的外界传感信息的非智能化控制模式，难以满足逡逑非结构化动态环境中多样化、个性化、柔性非标准的复杂任务需求，如图１－１所示。另逡逑夕卜，随着协作型机器人的广泛应用与发展［１］，未来机器人必将逐渐地由传统封闭的制造逡逑业环境向与人交互、共融的共享空间迈进［２］，由半自动的操作任务到更加自主地完成的逡逑执行任务，从而不可避免地出现各类不可预测的异常情况，如物体滑落、工具与环境的逡逑碰撞、人类的碰撞和系统异常。因此，为了赋予机器人更长期的自治和更安全的人机共逡逑融环境，机器人进行实时多模态的融合建模，进而实现自身运动行为的精准感知（运动逡逑行为识别、异常监测、异常分类）及异常修复是非常必要的。逡逑ｍｍｍ逡逑（ａ）物流仓储逦（ｂ）电子兀件装配逦（ｃ）人机协同任务逡逑图１－１机器人作用于非结构化动态环境中多样化、个性化和柔性非标准的任务逡逑Ｆｉｇ．１－１邋Ｒｏｂｏｔｓ邋ａｒｅ邋ａｐｐｌｉｅｄ邋ｉｎ邋ｄｉｖｅｒｓｅ，邋ｉｎｄｉｖｉｄｕａｌｉｚｅｄ邋ａｎｄ邋ｆｌｅｘｉｂｌｅ邋ｎｏｎ－ｓｔａｎｄａｒｄ邋ｔａｓｋｓ邋ｉｎ逡逑ｕｎｓｔｒｕｃｔｕｒｅｄ邋ｄｙｎａｍｉｃ邋ｅｎｖｉｒｏｎｍｅｎｔｓ逡逑一般地，在结构化的环境下机器人遵循ＳＰＡ的控制框架，首先是机器人观测周围逡逑的环境并建立内部的模型

模式图,实时评估,多模态,机器人

地提高自主操作性和安全性能。近年来，让机器人像人类一样具有增长式学习内在感逡逑知模型的能力受到了广大机器人学者的青睐。机器人感知是评估多模态传感数据潜在逡逑模式的过程［８－１Ｑ］，如图１－２所示，，它的应用在于赋予机器人三方面的能力：“做什么？邋”、逡逑“做得怎么样？邋”和“怎么做？”。其中“做什么？邋”是解决机器人执行任务过程中的逡逑连续状态估计的问题；“做得怎么样？”是监测机器人执行任务过程中的执行情况，如逡逑正常或者异常；“怎么做？邋”是包括了机器人执行任务的规划和对未来运动的决策。机逡逑器人感知的发展与应用能有效地１）估计、监测及防止异常的事件；２）评估机器人的逡逑内部状态；３）加强异常修复的能力；４）优化控制和运动的决策。逡逑懰r>，r>逡逑ｊ－＊－１逡逑（ａ）机器人执行电子元件装配的过程逡逑（ｂ）机器人执行电子元件装配的过程中所产生的多模态传感信号逡逑图１－２实时评估机器人执行电子元件装配过程中多模态信息的潜在模式逡逑Ｆｉｇ．邋１－２邋Ａｓｓｅｓｓｉｎｇ邋ｔｈｅ邋ｕｎｄｅｒｌｙｉｎｇ邋ｄｙｎａｍｉｃｓ邋ｏｆ邋ｔｈｅ邋ｍｕｌｔｉｍｏｄａｌ邋ｓｉｇｎａｌｓ邋ｔｈａｔ邋ｇｅｎｅｒａｔｅｄ邋ｂｙ邋ａ逡逑ｒｏｂｏｔ邋ｐｅｒｆｏｒｍｉｎｇ邋ｔｈｅ邋ｅｌｅｃｔｒｏｎｉｃ邋ａｓｓｅｍｂｌｙ邋ａｔ邋ｒｅａｌ－ｔｉｍｅ．逡逑２逡逑
【学位授予单位】：广东工业大学
【学位级别】：博士
【学位授予年份】：2019
【分类号】：TP181;TP242

【参考文献】