基于改进YOLOv3的手势识别方法研究

发布时间：2020-09-09 09:28

　　近年来随着人工智能技术和计算机技术的快速发展,人机交互的方式也得到了很大的解放,基于手势的人机交互方式因其简单高效、自然方便而受到人们的青睐。手势识别通常又可以分为静态手势识别和动态手势识别,本文就这两个手势识别分支所做的研究工作主要如下所示:分析了手势识别的几种常用方法类别,包括基于模板匹配、基于数据手套、基于概率统计、基于无线射频、基于人工神经网络(Artificial Neural Network,ANN)五种方法分类,并比较各自的优缺点。随后提出当前主流的目标检测研究方向,即基于卷积神经网络(Convolutional Neural Network,CNN)的目标检测算法。在以上基础上提出一种基于改进YOLOv3(You Only Look Once:Version 3)的静态手势实时识别方法。首先,基于卷积神经网络YOLOv3模型,通过使用Kinect传感器采集的四种类型的Kinect图像(IR图像、Registration of RGB图像、RGB图像和Depth图像)数据集代替常用的RGB图像数据集,并且融合四类图像的识别结果,提高了识别准确率;然后,采用K-Means聚类算法对YOLOv3的初始候选框参数进行改进,提高了识别速度;最后,采用迁移学习的方法对基础特征提取器进行改进,减少了模型的训练时间。实验表明,所提方法对流式视频静态手势的平均识别准确率(mean average precision,mAP)为99.1%,识别速度为42 FPS(Frames Per Second),模型训练时间为12小时,相比改进前的YOLOv3方法,mAP提高6.6个百分点,识别速度提高4 FPS,模型训练时间减少25%。与其他先进的深度学习方法,如Faster R-CNN(Faster Regions with CNN features)、SSD(Single Shot MultiBox Detector)、YOLOv2(You Only Look Once:Version 2)和残差网络101(RetinaNet-101)相比,本文方法取得了较好的识别结果。最后又提出一种基于YOLOv3的连续动态手势识别方法。手势动作数据采集阶段使用基于信道状态信息(Channel State Information,CSI)的方式,通过对CSI数据进行自适应加权融合、卡尔曼滤波、阈值分割和数据转换生成灰度值图像,结合YOLOv3算法,对连续动态手势进行训练和识别。使用识别混淆矩阵的表达方式验证所提方法的有效性。实验结果表明,本文方法对自定义的四种连续动态手势的识别率达到94%,取得了较好的识别效果。
【学位单位】：合肥工业大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TP391.41;TN713
【部分图文】：

神经元模型

图 2.1 MP 神经元模型Fig 2.1 Diagram of MP neuron model信号，共n个输入信号， j 表示神经元，ijw 表示输入的权重值，jb 表示神经元的内部状态即偏置值，jO 表关系可以用下式表示： nijjiijOfbxw1激活函数，常用的有 sigmoid 函数、tanh(x)函数、线r Unit, ReLU)[36]、Leaky ReLU 函数、ELU 函数[37]等eptive field）可以理解成是 CNN 中的神经元对输入神经网络结构相邻网络层间的神经元采用全连接的方数庞大，难以训练。CNN 中提出了局部感受野的概念知，有效地避免了这一困难。

示意图,感受野,示意图,权值

图 2.2 CNN 中的局部感受野示意图Fig 2.2 Schematic diagram of local receptive filed in CNN元之间局部感知的操作，极大地减少了参数个数，又不会一核心思想，权值共享，即共享网络模型的权值参数。C发于相邻的生物神经元在结构和功能上的类似性和可替代核使用一组共享的权值来对上层特征图谱进行遍历。通俗同一个卷积核上的所有神经元共享同一个权值参数。之所是因为同一个卷积核在某个区域提取到的特征，同样适用

示意图,权值,示意图,卷积核

图 2.2 CNN 中的局部感受野示意图Fig 2.2 Schematic diagram of local receptive filed in CNN种神经元之间局部感知的操作，极大地减少了参数个数，又不会丢失。值共享N 中另一核心思想，权值共享，即共享网络模型的权值参数。CNN 中思想启发于相邻的生物神经元在结构和功能上的类似性和可替代性，，卷积核使用一组共享的权值来对上层特征图谱进行遍历。通俗意义上享就是同一个卷积核上的所有神经元共享同一个权值参数。之所以可参数，是因为同一个卷积核在某个区域提取到的特征，同样适用于其

【参考文献】