基于三维深度神经网络的动态手势识别的方法研究

发布时间：2022-01-13 17:24

　　随着科技的高速发展,越来越多的技术被运用到人们的日常生活中来,因此,通过科技使人们过上更加舒适简洁的生活也成为了当今学术界和工业界的一致目标。而近来人工智能的兴起更是掀起了智能化生活的热潮,其中,人机交互作为人与机器的交流方式,在智能化生活中更是必不可少。而手势识别作为一种简单自然的交互方式,更是备受瞩目,人们期望通过手势识别使得人机交互变得方便自然,更加贴近人类的生活习惯。因此,为了促进动态手势识别准确率的提升,本文主要做了如下工作:（1）针对动态手势识别中,需要尽量保留手势视频中含有运动信息的帧图像的问题,提出一种“关键帧”提取方法。首先,对手势视频做统一帧数处理,在对数据集进行统计分析的基础上,确定网络输入视频的基准帧数。其次,在视频采样的过程中,为了尽量保留富含运动信息的“关键帧”,根据光流值可以代表运动剧烈程度的原理,使用一种基于光流的加权平均采样方法,根据原始视频中各段的平均光流值来对视频按比例进行采样。最终获得了帧数统一且含有丰富运动信息的手势数据集。（2）针对动态手势具有时序特征以及深层网络遇到的退化问题,使用一种由残差思想改进的三维卷积神经网络进行手势的特征提取。在动... 

【文章来源】：西安电子科技大学陕西省 211工程院校 教育部直属院校

【文章页数】：78 页

【学位级别】：硕士

【部分图文】：

体感游戏（4）聋哑人交流

[4]。图1.2 数据手套虽然以可穿戴设备为基础的手势识别技术因其精确的数据而可以达到较高的识别率，但是由于数字手套价格昂贵，体积较大，不方便携带等原因导致其发展受到了限制。而基于视觉的手势识别是依靠摄像机采集到的手势的图像信息进行识别，相较于数字手套，基于视觉的手势识别更加方便灵活，贴合人类的使用习惯，费用也更加低廉，因此得到了更多的认可。基于视觉的手势识别是让计算机模拟人的眼睛，进行非接触式的手势识别，其又可以分为静态手势识别和动态手势识别。静态手势识别是通过单帧图像来表征一个手势，通过分析计算手的形状、位置、轮廓等信息来对手势进行识别分类。一些传统的分类方法，如随机森林[5]、模板匹配算法[6]等经常被用于静态手势识别

域进行连接。一个卷积核是一个权值矩阵，代表图像的某一种特征，卷积核一般以随机小数矩阵的形式初始化，并在网络的训练过程中通过学习得到合理的权值。图2.2 卷积操作[36]卷积层通过卷积操作来提取上一层特征图中的不同特征。“卷积”就是对图像和滤波器（即卷积核）做内积，即将对应位置的元素相乘再求和，这就是卷积操作，如图 2.2 所示。一个卷积核代表图像的某一种特征，将它和图像进行卷积操作，就可以得到整个图中对该特征的响应，某个区域的响应越强烈（即卷积值越大），说明该区域含有该特征的可能性就越大，当某个区域的响应值大于一定阈值，就认为该区域含有该卷积核所代表的特征。使用多个卷积核分别对图像进行卷积操作，就可以得到该图像的多种特征。由于网络的训练过程是将一个固定大小的矩阵（即卷积核）在图像

【参考文献】：
期刊论文
[1]卷积神经网络研究综述[J]. 李彦冬,郝宗波,雷航.  计算机应用. 2016(09)
[2]光照不均图像增强方法综述[J]. 梁琳,何卫平,雷蕾,张维,王红霄.  计算机应用研究. 2010(05)
[3]基于ANN/HMM的中国手语识别系统[J]. 吴江琴,高文,陈熙霖,刘伟.  计算机工程与应用. 1999(09)

硕士论文
[1]基于深度卷积神经网络的手势识别研究[D]. 陈祖雪.陕西师范大学 2016
[2]基于CAS-GLOVE数据手套的手势识别技术研究[D]. 江立.北京交通大学 2006



本文编号：3586846