面向人机交互的救援机器人视觉感知与增强现实技术研究

发布时间：2021-08-20 12:40

　　在利用遥控机器人执行救援任务时,一般的做法是利用机器人车载摄像头直接传回图像信息供操作人员来观察理解环境。这种情况下操作人员需要集中精力来寻找受困者,并记住机器人走过的路径和机器人当前的位置,耗费操作人员大量的精力并容易导致其出现疲劳感。本文考虑利用增强现实的方式在图像上提供更丰富的信息,增强操作体验,从而降低对操作人员的要求。首先,本文提出了用于救援机器人的增强现实系统框架,采用一种归类于“视频透视法”的增强现实显示方案。将救援机器人传回的视频信息作为真实世界,在经过数字化处理的视频流上完成增强现实的工作。然后阐述了本系统中涉及的硬件设备和软件系统,介绍了本增强现实系统构成的四要素,这是后续工作的基础。其次,基于机器人操作系统（Robot Operating System,简称ROS）采用分节点方式开发增强现实系统软件框架。介绍了无标记环境下实现增强现实的技术基础,本文用作增强现实系统位姿跟踪技术的ORB-SLAM2,以及使用SLAM节点实现真实环境建模与显示标注的方法。接下来介绍了本文使用深度学习方法实现目标检测与定位的两种思路,以及最终选择使用的OSVOS目标分割网络。在AR总节... 

【文章来源】：国防科技大学湖南省 211工程院校 985工程院校

【文章页数】：73 页

【学位级别】：硕士

【部分图文】：

典型的救援机器人

降男畔?2]，这些信息可以帮助用户更好地完成真实世界中类似外科手术、火灾救援、反恐等任务。在室内救援环境中，AR可帮助操作人员及时发现目标、理解环境信息。在近几年的发展中，关于增强现实技术的应用越来越多，在教育、游戏、建筑、医疗等多个领域都有增强显示技术的应用，包括苹果、谷歌在内的科技公司相继推出了自己的增强现实平台。从硬件角度来看，实现AR显示的设备一般分为头戴设备和普通屏幕，头戴设备主要应用于人直接参与的环境中。在远程遥控移动机器人的条件下，应该在控制端的屏幕上做AR显示的工作。图1.2某款室内探索游戏的界面本文研究的出发点是为了使操作人员拥有更好的操作体验，故本文借鉴了一款类似室内探索游戏的画面设计理念。如图1.2所示，在该款游戏中，在玩家发现物资后可以在物资的位置放置一个AR标记用来指示目标的位置，这个标记在玩家移动视野的过程中会一直固定在物资所在的地方，即使目标物资不在视野的范围内也会有一个类似箭头的信息指示其在视野外的方向。同时在游戏界面的右上角显示了当前的地图。通过这两种方式玩家可以更轻松的进行游戏，本文将借鉴这种方案用于救援机器人遥控界面的设计。人-机器人交互是研究如何实现人与机器人交互的一门学科，该学科涉及人-计算机交互、人工智能、机器人学、自然语言理解、设计和社会科学等多个领域。为了使操作人员更好地与机器人交互，本文主要从两个方面来设计用于救援机器人人机交互的增强现实显示系统，一是可以在界面中放置与真实世界目标联动的AR标记，操作人员可以直接将标记放置在发现的目标上，来帮助自己更轻松地记住目

是只局限在视觉感知上，在听觉，嗅觉，触觉上感知到真实世界外的虚拟信息都可以归类为增强现实技术。使用这种技术，机械师在修理未知的设备时可以看到下一步操作的指示，外科医生在做手术时可以看到器官的超声波扫描图像，消防人员可以看到建筑布局，以避免其他无形的危险[4]。AR技术是一种基于现实的交互接口[5]，并且正在从实验室走向工业化应用和消费者市常AR可以将计算得到的虚拟信息补充到真实世界并与真实世界共存，随着今天智能手机技术的发展，AR技术已经成为了人机交互领域一种新兴的、令人着迷的技术。图1.3现实虚拟统一体（Reality-virtualitycontinuum）

【参考文献】：
硕士论文
[1]基于二进制特征的单目视觉同步定位与建图问题研究[D]. 陈谢沅澧.国防科技大学 2017



本文编号：3353514