基于深度神经网络的动态手势识别技术研究

发布时间：2021-01-05 00:20

　　手势是人类日常生活中非常重要的交流方式之一,能够直观地表达富有丰富的语义信息,被广泛的用于人机交互,虚拟现实以及失语者的手语等方面。使用机器视觉算法识别出手势表达的语义信息具有很高的研究价值。本文的研究对动态手势识别课题提供了新的研究思路及相关方法,并对面向人机交互和手语识别领域的研究打下了技术基础。手作为人体中最灵活的部位,使其在检测、跟踪、分类和识别等任务上极具挑战。基于机器视觉的手势识别算法往往面临如下问题:1)人手的分辨率较低;2)人手目标所处背景环境杂乱;3)手与手或者手与物体的交互;4)手被遮挡;5)不同的手势具有较大的相似度;6)人手的多自由度特性;7)多视角歧义;8)不同的形状和尺度;9)检测和识别网络参数的训练调优问题。本论文来源于校内自选项目,基于机器视觉技术,面向人机交互以及手语的动态手势识别。本课题的研究分为如下四个方面:1)通过像素级的人体皮肤区域检测模型（MFS）,找出图像中皮肤掩膜,并且使用特征索引的字典学习算法对皮肤掩膜的边界轮廓进行精修,以便尽可能地保留皮肤区域的信息;2)提出一种层级融和卷积神经网络的人手目标检测框架-CCNN,通过皮肤检测模型得出的... 

【文章来源】：中国矿业大学(北京)北京市 211工程院校 教育部直属院校

【文章页数】：140 页

【学位级别】：博士

【部分图文】：

图１．１手势识别的应用??Ｆｉｇ．?１．１?Ｈａｎｄ?ａｃｔｉｏｎ?ｒｅｃｏｇｎｉｔｉｏｎ?ａｐｐｌｉｃａｔｉｏｎｓ??

图１．３单帧行为识别的歧义??Ｆｉｇ．ｌ?．３?Ａｍｂｉｇｕｉｔｙ?ｉｎ?ｓｉｎｇｌｅ?ｆｒａｍｅ?ａｃｔｉｏｎ?ｒｅｃｏｇｎｉｔｉｏｎ??

图１．２Ｋｉｎｅｃｔ人手动作检测??Ｆｉｇ．?１．２?Ｈａｎｄ?ａｃｔｉｏｎ?ｄｅｔｅｃｔｉｏｎ?ｂｙ?Ｋｉｎｅｃｔ??


本文编号：2957638