基于CNN与OSELM的手势识别方法
发布时间：2020-10-12 01:44
随着人工智能的不断深入研究,人机交互越来越火热,计算机视觉逐渐成为当下研究的主流,越来越多的人加入到研究人机交互的领域。不同的研究者对不同交互手段进行了研究,例如人脸,手势,身体姿势等。研究人机交互的主要媒介是研究不同的卷积神经网络(Convolutional Neural Network,CNN),或是搭配不同的机器学习方法。在手势识别领域的研究历程中,传统的方法是通过对手势的分割,将手势从图片中分割出来,提取手势的Hu矩特征以及手指个数描述轮廓等信息,将这些提取到的信息置于BP神经网络进行训练识别。这种方法在识别的准确率上稍微有所欠缺。本文提出将卷积神经网络与在线顺序极限学习机(Online Sequential Extreme Learning Machine,OSELM)相结合的方法,以达到高识别率的效果。为此做出以下的工作:首先,对需要研究的课题准备好训练数据集,研究的内容采用自制手势训练集,同时在JTD静态手势数据集上做验证实验,提高算法的鲁棒性。在手势的特征提取方面,采用类似VGG16的卷积神经网络模型,对手势数据集做训练同时提取手势特征。其次,将提取到的手势特征值置于在线顺序极限学习机中训练识别,对比了不同的分类算法,比较不同分类算法在识别正确率方面的高低。同时分析了在线顺序极限学习机在不同大小样本上相对于其他分类算法有着更快的训练速度和更高的识别率,为手势识别提供了更加丰富的数据形式。通过实验数据的对比,本文提出将卷积神经网络与在线顺序极限学习机相结合的方法应用到手势识别中比单纯的使用卷积神经网络具有更高的识别准确率,在不同大小的数据上也具有更强的适用性。最后,基于本文提出的算法,开发了手势识别系统。将算法应用到实际生活中,实现算法的落地应用。将算法与游戏动画相结合,以实际应用验证本文提出算法的实用性。
【学位单位】：合肥工业大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TP391.41;TP18
【部分图文】：
2.4 神经网络模型举例卷积神经网络经过数十年的发展，网络的结果也在不断的改进，识别的准确率也在不断的增加。同时带来的网络的复杂度也在不断增加，我们在实际应用中，需要根据自己的数据集采用适合自己的网络结果。深度太深，网络太过复杂带来的计算量也是巨大的，得到的效果适得其反。下面简单介绍几个常见的卷积神经网络模型：（1） LeNet 网络LeCun[49]等人 1998 年在 IEEE 上发表的论文，正式拉开了卷积神经网络的序幕。LeCun 提出这个网络的初始作用是用来识别像素为 32x32 的手写数字图像。该网络包含输入层，以及其他的七层网络层。如图 2.7 所示，输入的手写字母“A”的初始大小为 32x32，经过卷积层（Convolutions）计算，池化层作用（Subsamping）输出特征值矩阵的大小为 14x14。再经过一轮卷积池化的作用特征矩阵的大小变为 5x5。最后将矩阵“平铺”成一维数据放入全连接层训练。这种网络结构在手写数据训练集上取得了相当好的结果，为后来卷积神经网络的发展奠定了基础。
图 2. 8AlexNet 网络结构Fig 2. 8 AlexNet network structure如图 2.8所示，AlexNet 网络与 LeNet 网络在一定程度上有很多相似的地方。从结构上可以直观的看出 AlexNet 网络有两条通道，这是由于当时显卡容量的问题，无法满足 AlexNet 网络的 60M 个参数在同一张显卡上运算。从图中的第二个最大池化层（Max pooling）可以看出上下两部分进行了数据的交互，在最后汇总到大小为 1000 的 SoftMax 层输出。由于 AlexNet 网络在 ILSVRC 数据集上做 1000 分类，涉及数据量之大，参数之多。在训练的时候必然会遇到过拟合的问题。在这个问题上 AlexNet 网络采用了数据增强和随机失活（Dropout）手段。数据增强的方式一般是增大数据量。Dropout 的原理就是以 0.5 的概率将每个隐层神经元的输出设置为零。以这种方式“dropped out”的神经元既不参与前向传播，也不参与反向传播。所以每次提出一个输入，该神经网络就尝试一个不同的结构，但是所有这些结构之间共享权重。因为神经元不能依赖于其他特定神经元而存在，所以这种技术降低了神经元复杂的互适应关系。
图 3.5 手势训练集Fig 3.5 Gesture Training Set.2 卷积神经网络模型介绍卷积神经网络在图像的分类上具有优秀的表现[56]，采用神经网络提取图像征具有深刻的研究价值。神经网络对图像特征提取以及后面的对特征值的训类识别都具有良好的表现。.2.1 网络结构本文对手势识别方法中神经网络结构采用类似 VGGNet 网络模型，这种模优良性能在第二章的 2.4 小节中已介绍。VGGNet 网络的优势在于双卷积模以极大程度的解决过拟合问题[57]。本文采用的神经网络框架借鉴 VGGNet模型，如图3.6所示，从图中可以清楚的看出由红蓝两个虚线平行四边形组成色虚线平行四边形采用的类似 VGGNet 网络结构，两个卷积层和一个池化层组，共三组，包含六层卷积层（Conv）、三层最大池化层（Pooling）和一个
【参考文献】
本文编号：2837446
【学位单位】：合肥工业大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TP391.41;TP18
【部分图文】：
2.4 神经网络模型举例卷积神经网络经过数十年的发展，网络的结果也在不断的改进，识别的准确率也在不断的增加。同时带来的网络的复杂度也在不断增加，我们在实际应用中，需要根据自己的数据集采用适合自己的网络结果。深度太深，网络太过复杂带来的计算量也是巨大的，得到的效果适得其反。下面简单介绍几个常见的卷积神经网络模型：（1） LeNet 网络LeCun[49]等人 1998 年在 IEEE 上发表的论文，正式拉开了卷积神经网络的序幕。LeCun 提出这个网络的初始作用是用来识别像素为 32x32 的手写数字图像。该网络包含输入层，以及其他的七层网络层。如图 2.7 所示，输入的手写字母“A”的初始大小为 32x32，经过卷积层（Convolutions）计算，池化层作用（Subsamping）输出特征值矩阵的大小为 14x14。再经过一轮卷积池化的作用特征矩阵的大小变为 5x5。最后将矩阵“平铺”成一维数据放入全连接层训练。这种网络结构在手写数据训练集上取得了相当好的结果，为后来卷积神经网络的发展奠定了基础。
图 2. 8AlexNet 网络结构Fig 2. 8 AlexNet network structure如图 2.8所示，AlexNet 网络与 LeNet 网络在一定程度上有很多相似的地方。从结构上可以直观的看出 AlexNet 网络有两条通道，这是由于当时显卡容量的问题，无法满足 AlexNet 网络的 60M 个参数在同一张显卡上运算。从图中的第二个最大池化层（Max pooling）可以看出上下两部分进行了数据的交互，在最后汇总到大小为 1000 的 SoftMax 层输出。由于 AlexNet 网络在 ILSVRC 数据集上做 1000 分类，涉及数据量之大，参数之多。在训练的时候必然会遇到过拟合的问题。在这个问题上 AlexNet 网络采用了数据增强和随机失活（Dropout）手段。数据增强的方式一般是增大数据量。Dropout 的原理就是以 0.5 的概率将每个隐层神经元的输出设置为零。以这种方式“dropped out”的神经元既不参与前向传播，也不参与反向传播。所以每次提出一个输入，该神经网络就尝试一个不同的结构，但是所有这些结构之间共享权重。因为神经元不能依赖于其他特定神经元而存在，所以这种技术降低了神经元复杂的互适应关系。
图 3.5 手势训练集Fig 3.5 Gesture Training Set.2 卷积神经网络模型介绍卷积神经网络在图像的分类上具有优秀的表现[56]，采用神经网络提取图像征具有深刻的研究价值。神经网络对图像特征提取以及后面的对特征值的训类识别都具有良好的表现。.2.1 网络结构本文对手势识别方法中神经网络结构采用类似 VGGNet 网络模型，这种模优良性能在第二章的 2.4 小节中已介绍。VGGNet 网络的优势在于双卷积模以极大程度的解决过拟合问题[57]。本文采用的神经网络框架借鉴 VGGNet模型，如图3.6所示，从图中可以清楚的看出由红蓝两个虚线平行四边形组成色虚线平行四边形采用的类似 VGGNet 网络结构，两个卷积层和一个池化层组，共三组，包含六层卷积层（Conv）、三层最大池化层（Pooling）和一个
【参考文献】
相关期刊论文 前6条
1 VanBang L E;朱煜;赵江坤;陈宁;;基于深度图像HOG特征的实时手势识别方法[J];华东理工大学学报(自然科学版);2015年05期
2 蔡娟;蔡坚勇;廖晓东;黄海涛;丁侨俊;;基于卷积神经网络的手势识别初探[J];计算机系统应用;2015年04期
3 刘云龙;高存臣;任启峰;郭真真;;水下机器人基于sigmoid函数的软变结构控制[J];电机与控制学报;2012年02期
4 李洁;柴天佑;宫经宽;;基于交叉熵算法的PID控制器设计[J];控制与决策;2011年05期
5 陈小平,石玉,于盛林;遗传算法在前向神经网络参数估计中的应用[J];电子测量与仪器学报;2001年02期
6 张卫东,孙优贤;基于Taylor展开的Smith预估器优化设计[J];仪器仪表学报;1997年02期
本文编号：2837446
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/2837446.html
