笔画信息人机交互方法及其在机器人作业过程中应用研究

发布时间：2020-05-05 12:50

【摘要】：人机交互技术的发展能使机器人适应日益复杂多样的作业环境与作业任务,因此,探索新的人机交互方式,简化人机交互作业流程有着重要的意义。笔画交互方式是一类绘制简单、识别稳定的交互方式,已在家庭电脑、手机、平板等设备上广泛应用。在人-机器人交互领域,笔画已被应用于机器人移动任务,但对于机器人作业任务,笔画指令传递的信息量较少,且利用笔画实现作业过程接触力、工作范围控制的研究较少。针对上述问题,本文于引入了笔画点、笔画轨迹、笔画向量三类笔画信息来解决机器人作业任务中的交互问题,提出笔画信息人机交互方法,该方法仅利用笔画信息一类指令传输媒介,结合图像处理、模式识别、路径规划、力速控制等技术,同时实现作业对象参数的交互提取以及作业过程的交互控制,使交互过程得到简化,拓展了基于笔画信息的人机交互方法研究方向,为复杂作业任务中的人机交互方式选择问题提供了新的解决方案与研究思路。提出了基于笔画点的作业任务参数交互提取方法,该方法利用图像配准技术,实现了彩色图像与深度图像像素点的一一对应,解决了操作者绘制的笔画点向三维空间投影的问题,为后续实现笔画轨迹的投影提供方法基础。此外,对于仅有彩色图像感知的情况,提出了利用多视角彩色图像完成笔画点向空间投影的方案,该方案使用核化相关滤波跟踪技术,实现多视角图像采集,设计了多种图像帧采样策略组合,提升了空间位置的求解精度。结合开门和拧阀门两种典型救灾作业任务,阐述了利用笔画点求解作业对象参数的过程,并通过试验,验证了所提出方法的有效性。针对离散笔画点携带指令信息量较少的问题,提出以连续笔画轨迹代替离散笔画点的作业对象参数交互提取方法,提高了彩色与深度图像共存条件下的作业对象参数提取效率。该方法的贡献在于它不仅利用卷积神经网络技术,通过对笔画轨迹的分类实现了对作业对象类型参数的提取,而且能进一步利用笔画轨迹对应的三维空间点轨迹特征,通过相邻点差分寻找轨迹突变位置,进而实现作业对象的位置、尺寸等参数的求解。开展了针对机器人典型救灾作业任务的参数提取试验,验证了所提出方法的有效性,实现了作业对象类型、位置、尺寸的同步提取,为后续作业过程交互控制的实现奠定了基础。针对训练笔画轨迹分类器需要大量样本这一问题,提出了笔画轨迹数据集迭代生成方法。传统笔画合成方法大都只评价最终生成数据集的多样性,而本文所设计方法将多样性评价结果反馈给生成过程,采用迭代的方式,逐步使笔画轨迹数据集的多样性达到平衡;此外,该方法利用Bezier曲线对笔画轨迹模板进行构建,解决了单笔画和多笔画的模板构建问题。在公开数据集上进行了笔画轨迹人工合成试验,试验结果表明该方法生成的数据能较好地模拟操作员手工绘制数据,实现了笔画轨迹的大量生成。为解决作业任务执行过程中的交互控制问题,提出了笔画向量引导的机器人多策略混合交互控制方法,该方法的创新性及实现难点在于如何将笔画向量信息转化为机器人控制量。本文以笔画向量作为期望力及期望速度来源,将力速混合控制策略及虚拟固定约束控制策略相结合,实现了笔画向量向机器人控制量的转化,使操作者能实时地控制作业末端的运动;此外,利用笔画向量实时输入的特性,设计了虚拟固定约束动态调整方法,提高了交互控制过程的灵活性。搭建了试验平台,以四种典型救灾作业任务为例,验证了所设计的交互控制方法在控制运动轨迹时的有效性和精确性,同时,展示了该方法在面临存在障碍或受力过大等特殊作业条件时,具有辅助操作者实时调整运动轨迹的能力。
【图文】：

交互系统,操作过程,轨迹

a) 笔画轨迹 b) 操作过程图) Stroke gestures designed b) Control process based on stroke gestu图 1-2 笔画轨迹及移动任务交互系统操作过程图Fig. 1-2 Working process of a cleaning robot using stroke-based interfaceKentaro 等[38]使用激光轨迹完成机器人运动控制。作者指出，在早中，研究者通常利用激光点的聚焦特性为完成抓取任务或按压按钮器人提供目标所在位置，但仅提供单一目标位置，难以协助机器人作业任务。基于以上考虑，作者对激光指令的复杂程度进行了提升

轨迹图,轨迹,激光,过程

第 1 章绪论单一激光点，改变为利用激光轨迹。激光轨迹绘制过程如图 1-3a)文中为移动机器人清理地面物体任务设计了 5 种激光轨迹指令，，其选择指令，4 种为动作指令，分别是运送、收集、清理和取消当前指令的形式如图 1-4 所示。为了更好地辅助操作者进行机器人控制向系统中加入了语音及投影反馈，语音反馈便于操作者确认机器人理解了运动指令，投影反馈则实时地在地面上展示操作者绘制的激状态，便于操作者更精准地完成轨迹绘制，激光轨迹反馈过程如图
【学位授予单位】：哈尔滨工业大学
【学位级别】：博士
【学位授予年份】：2019
【分类号】：TP391.41;TP242

【参考文献】