基于卷积神经网络的误识手势检测与纠错算法研究

发布时间：2020-08-03 11:55

【摘要】：随着机器视觉技术的蓬勃发展,手势识别技术以其便捷的肢体语言交流方式在人机交互中发挥着越来越重要的作用,受到广大人机交互研究者的热爱。得益于手势识别技术的日益成熟,以手势为交互工具的智能教育、智能医疗、智能社保等智能系统逐渐普及到人们日常生活中。因此本文基于语义柔性映射交互模型构建了手势数据库,然而在利用卷积神经网络手势模型实际应用过程中,存在一些易混淆的手势,这些手势的存在必然会降低整个系统的性能。而普适性差、效果不佳的智能系统将很难被人们接受采用。由此,本论文依托国家重点研发计划项目、国家自然科学基金项目和山东省重点研发计划项目等项目基金的支持,以智能交互式界面为应用平台,对教学过程中的误识手势展开研究。本文主要研究目标是探究基于卷积神经网络手势识别算法的误识手势出错机理,并提出基于概率统计模型和卷积特征的智能纠错算法,通过对误识手势的智能检测与纠错,实现交互式教学的智能化。本论文的创新点概括为以下三个方面:(1)即使手势识别算法已很成熟,但在实际应用中由于外界因素的干扰,不可避免会出现误识手势。与传统的基于卷积神经网络识别静态手势算法相比较,本文提出了基于概率统计的误判概率模型,实现对误识手势的智能纠错。该算法主要从大数据角度分析,建立误识手势的混淆矩阵,分析每类手势和被网络模型错误识别为其他类手势的数量关系,并依据预测识别结果和实际类别的概率函数,建立了误判概率模型。在检测出错手势之后,本文以误判概率矩阵为基点产生随机数,设计了一个概率发生器进行纠错,使得混淆手势的识别率提高了5%左右。(2)现有方法一般通过优化网络结构及训练参数提高识别率,或通过定义新的手势特征和相似度算子以提高识别率。与之不同,本文探究误识手势出错机理,寻找出错过程的规律性。(3)由于上述基于概率的纠错算法没有体现手势出错过程,纠错效果不理想,因此,本文提出基于卷积特征的误识手势智能检测与纠错算法。为了探究误识手势的特点,本对误识手势从全连接层到卷积层的特征值逐一提取,并进行可视化,从特征值上比较分析同类手势被识别正确和错误的区别。在实验过程中首次提出区分误识手势的一个重要特征—三维曲面的峰值。从大数据角度分析,同一种手势在同一通道上对应的曲面的峰值总趋向于固定的区域,并且不同手势类型对应的区域是不同的。基于这个规律,提出了误识特征矩阵及自动纠错算法。研究结果表明,本文提出的算法与改进前的卷积神经网络相比识别率提高了15%左右。
【学位授予单位】：济南大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.41;TP183
【图文】：

深度图,关节点,骨骼,关键技术

数据库大多是通过 Kinect for Windows V2 Sensor（Kinect）采集的，：一、采集的样本（人）不足，有的数据库只是采集了一个人、两个人用手的行为习惯不同，手的姿态和做手势动作都千差万别，所以少有代表性。二、数据种类偏少且数据量不足。因此针对上述两个问题00 名教师和学生，统计了符合人们认知规律和行为习惯的 17 种常用势。本实验室基于 Kinect 召开了为期两个学期的采集实验，总共采手势，得到了 52 万的数据库，包括深度图、彩色图、手势运动轨迹来本文将基于 Kinect 阐述数据库采集建立过程。发布的低成本彩色深度（RGB-D）照相机 Kinect[68]通过提供高质量的背景和照明变化等问题，在手势识别方面创造了一场新的革命[69]。K多种先进的传感硬件。最值得一提的是，它包含深度传感器，彩色摄（图 2.1），可提供全身 3D 动作捕捉，面部识别和语音识别功能。

深度图,手势识别,深度图像

置作为手部区域的跟踪目标。键步骤，分割后的图像是手势识别的对象，是度图像是在其基础上增加了深度图（DepthM包含与视点的场景对象的表面的距离有关的信采用深度图像。2.2.1 小节提到 Kinect 可获用作为整体与身体分割出来。本文采取的办法是并将目的直接保存到本文文件中。根据深度的本文采用的手势识别技术是基于深度学习网络 LevelDB 格式，这就要求深度图像要统一尺深度图之后需要进行尺寸的标准化处理。标准.2 是经过上述分割后的图像。在获得海量数据识别算法，具体算法过程会在第三章展示介绍

界面图,手势,界面,按钮

程构建了采集的可视化界面。如图 2.3 所示，设计了三Button），包括静态手势、动态手势和左右手三组选择on）分别为每类手势的演示操作、开始按钮和结束按钮集者通过鼠标选中当前要采集的手势类型。集者点击“演示按钮”给被采集者示范手势动作。集者点击“开始抓取按钮”之后，被采集者开始动作。对于静态手势，由于 Kinect 只能获得手势的一个角度，的姿势，满 60 张图片自动结束。对于动态手势，采集手动点击“结束按钮”。境：8 台 Win 10+64 位的 PC 电脑境：VS2013备：8 台 Kinect 2.0

【相似文献】