基于Mask R-CNN的自然手势分割及其语义识别

发布时间：2021-06-09 05:17

　　手势作为一种人与人之间简便、直观的交互形式,随着人工智能和计算机视觉的迅速发展,对手势的识别也从过去的利用各种外界辅助设备到基于计算机视觉的研究阶段。而增强现实作为当前一种新兴的人机交互技术,将真实世界场景与计算机所生成的文字、图像、音频、视频等虚拟信息相结合,利用计算机生成的虚拟信息对真实世界进行补充,使虚拟信息与真实环境可以实时的显示在同一画面或空间,从而能够更加直观地观察分析现实场景中的数据信息和物理对象,是近年来国内外众多学者的研究热点之一。将自然手势用于增强现实系统,通过自然手势与虚拟物体之间的交互,力求解决增强现实在场景中虚实交互的一些主要问题,使其能够营造更加具有沉浸感的交互体验。为了实现对自然手势精细的分割与精准的语义识别,综合考虑现有手势识别算法存在的识别率较低、鲁棒性差、分割准确性不佳等缺点与不足,本文提出了一种基于Mask R-CNN的手势分割与识别方法。该方法通过使用基于多尺度特征融合的特征金字塔网络、优化候选窗口分类器、引入基于评分策略的像素级分割掩码,实现自然手势的精准分割与识别。首先,对Mask R-CNN主干网络中的特征金字塔网络进行多尺度特征融合,使其... 

【文章来源】：内蒙古科技大学内蒙古自治区

【文章页数】：55 页

【学位级别】：硕士

【部分图文】：

增强现实应用

内蒙古科技大学硕士学位论文-9-对自然手势的像素级别的检测与分割，研究自然手势的分割及其语义识别，并对自然手势进行手势识别，获取手势的位置和分割结果，实现手势与虚拟物体的遮挡，完成手势与虚拟物体简单的交互操作。目标旨在通过神经网络对自然手势进行分割识别，最大限度完成自然手势与虚拟物体的交互，保证虚实交互的效果和系统的实时性。图1.3课题研究框架本文的整体框架如图1.3所示。本文研究内容是以手势为研究对象，对手势进行分割与识别，主要针对以下几方面进行研究：（1）研究和分析当前国内外已有的目标检测方法，并总结出各个方法的优缺点，在主流目标检测方法研究的基础上，分析了目标检测的精确性与鲁棒性，然后确定使用基于MaskR-CNN的目标检测方法；（2）综合考虑手部的姿态、肤色等各种手势信息，对手势图像数据进行采集；为防止因图像数据量较少造成训练过程中产生的过拟合问题，对采集后的图像进行数据增强操作；最后，将最终的数据集实施预处理操作；（3）为了使MaskR-CNN能够更准确、高效地检测、分割、识别手势，对该算法的特征金字塔网络、候选窗口分类器以及实例分割掩码进行优化改进；（4）获取手部的位置信息与分割结果，和虚拟物体进行位置检测，实现与虚拟物体的虚实遮挡；

内蒙古科技大学硕士学位论文-12-图2.1增强现实系统一个典型的增强现实系统[73]组成结构如图2.1所示，主要由虚拟场景生成单元、显示器和跟踪定位设备（如头盔）等交互设备构成。其中，虚拟场景生成单元用于场景模型的构建、管理、绘制和其余外设的管理；显示器主要用于实时传递显示真实世界与虚拟对象融合后的信号；头戴式跟踪定位设备用于跟踪对象在真实世界里的坐标与视域；交互设备主要用于完成环境控制信号与感官信号的输入与输出。增强实现系统主要使用传感器与摄像头获取现实场景中的图像或视频，将其传到后端处理单元进行重构与分析。然后，根据头戴式跟踪定位设备获取的数据对现实场景与虚拟场景的相对位置分析，实现现实世界与虚拟世界中坐标的对齐和统一，并对虚拟场景进行融合计算。接着，利用交互设备获取外部控制信号，完成对虚实融合场景中的交互功能。最后，将经系统处理融合的信息实时显示于显示器的屏幕上，从而呈现在用户视野中。2.1.3增强现实技术的关键增强现实技术通过对输入图像的处理、组织，构建实景空间，计算机生成的虚拟对象根据级和一致性放置于实景空间中，形成虚实融合的增强现实场景，再将内容输出到显示屏幕上，用户通过交互设备与场景中的虚拟对象进行互动。其中，虚拟对象的生成与虚实场景融合的跟踪注册、与虚拟对象的交互部分非常关键，通过输出显示直接决定了最终的用户体验感受。所以，三维注册、虚实融合显示、人机交互使曾庆心事技术研究过程中的三大关键。三维注册决定了虚拟信息在三维的真实场景的位置与真实场景是否完美叠加，这是评价一个增强现实应用优劣的关键。因此，三维注册技术是增强现实技术科研过程中的难点与重点。三维注册的任务主要是能够实时检测真实场景中的摄像头中


本文编号：3220017