基于深度学习的手势运动行为识别
发布时间：2021-06-21 12:27
随着机器人的应用越来越广泛,人机交互一直是目前热门的研究领域。人和机器一般通过语音、姿态、脑电波追踪和视觉传感等方式进行交流,其中,人体手势作为姿态的一种能给机器传递丰富的信息。然而,手势具有的多样性、复杂性以及运动过程中时间和空间上的差异性,使手势在识别的问题上存在一定困难。传统的识别方式要借助可穿戴设备,并利用各种传感器进行定位和识别,存在代价大、受外部影响大和识别不准等缺陷。基于深度学习的识别方法能大大改善这些缺陷。本文研究了卷积神经网络对手势分类识别的算法原理,并通过构建双流卷积神经网络完成了动态手势的识别,具体内容如下:首先,根据LeNet-5网络设计了一套卷积神经网络模型,利用自行拍摄的手势数据集对神经网络模型进行训练。通过设计对比实验,确定网络层数、输入尺寸与卷积核尺寸等参数。以识别精度和训练时间为准则,搭建最佳的网络模型来完成静态手势的识别任务,并设计了两种误差处理方案进一步提高网络的识别准确率。然后,利用光流法完成视频中运动手势动态特征的提取,并额外搭建一套卷积神经网络,利用包含手势运动时间维信息的光流图对该神经网络模型进行训练。将两套卷积神经网络并行连接,构成一个双...
【文章来源】：西南交通大学四川省 211工程院校 教育部直属院校
【文章页数】：64 页
【学位级别】：硕士
【部分图文】：
常见的几种激活函数加上激活函数和偏置项后，此时神经元模型前向传播的数学表达式如下：1w
图 2-19 卷积神经网络传播过程代码示例上述程序分别定义了卷积核尺寸、偏置量和激活函数，并完成了卷积计算和池化计算，具体解释如下：第一行：通过 tensorflow 框架提供的 get_variable()方法创建并初始化卷积核的各项参数，其中前两个维度表示卷积核的尺寸，第三个维度表示卷积核的深度，第四个维度表示卷积核的个数，并将卷积核的值初始化为标准差等于 0.1 的正态分布的随机数。第二行：定义偏置项，并初始化为 0.1。与卷积核的个数相对应，本例中卷积核的个数为 16。第三行：tf.nn.conv2d()是 TensorFlow 提供的一个非常简单的函数来实现卷积神经网络的前向传播算法。input 为当前层的输入图像，是一个四维矩阵，后三维的矩阵表示一副输入图像，第一维表示图像的代号。例如，input[0,:,:,:]表示第一张输入图像，input[1,:,:,:]表示第二张输入图像。filter_weight 表示卷积层的参数，对应前文的第一行代码；strides 表示卷积核的移动步长，本例中步长为 1；padding 表示该层卷积层是否
1( )i i nyjjsoftmax y ye (通过公式(3-2)将神经网络的输出向量转化成概率分布，假设 p 代表真实值，q 代测值，根据公式(3-1)得知当交叉熵值越小，两个概率分布越接近，即预测值越接实值，此时神经网络模型的识别效果越好。.2 卷积神经网络结构和参数的确定通过对比实验，确定卷积神经网络的层数和结构，分析在 dropout 机制下，不同尺寸和卷积核尺寸对卷积神经网络的训练时长和识别精度的影响。2.1 静态手势数据集为了验证改进后神经网络的可行性，本文自行拍摄静态手势数据集供神经网络并验证。该静态手势数据集包含 5 类手势，约 5500 张图像，每类手势约 1100 张始图像的尺寸均为 640×360。图 3-2 展示了数据集中的五类手势。
【参考文献】：
期刊论文
[1]Recent advances in efficient computation of deep convolutional neural networks[J]. Jian CHENG,Pei-song WANG,Gang LI,Qing-hao HU,Han-qing LU. Frontiers of Information Technology & Electronic Engineering. 2018(01)
[2]模板匹配的三维手势识别算法[J]. 刘杰,黄进,韩冬奇,田丰,戴国忠,王宏安. 计算机辅助设计与图形学学报. 2016(08)
[3]基于视觉思维的人机交互遥感解译模式研究[J]. 鲁学军,尚伟涛,周和颐. 遥感信息. 2013(06)
[4]基于AdaBoost算法和光流匹配的实时手势识别[J]. 王凯,于鸿洋,张萍. 微电子学与计算机. 2012(04)
[5]一种面向实时交互的变形手势跟踪方法[J]. 王西颖,张习文,戴国忠. 软件学报. 2007(10)
[6]一种基于交叉熵的改进型PCNN图像自动分割新方法[J]. 刘勍,马义德,钱志柏. 中国图象图形学报. 2005(05)
[7]复杂背景下的手势分割与识别[J]. 任海兵,祝远新,徐光祐,张晓平,林学訚. 自动化学报. 2002(02)
[8]连续动态手势的时空表观建模及识别[J]. 任海兵,祝远新,徐光祐,林学訚,张晓平. 计算机学报. 2000(08)
[9]基于表观的动态孤立手势识别[J]. 祝远新,徐光祐,黄浴. 软件学报. 2000(01)
硕士论文
[1]基于计算机视觉的手势识别方法研究[D]. 李玉娟.西安电子科技大学 2017
[2]基于红外摄像的行人检测算法研究[D]. 吴思颖.吉林大学 2017
[3]基于数字图像处理的交警手势识别算法研究[D]. 马跃峰.吉林大学 2016
[4]基于数据手套的手势识别研究[D]. 王梦宇.东北大学 2015
本文编号：3240677
【文章来源】：西南交通大学四川省 211工程院校 教育部直属院校
【文章页数】：64 页
【学位级别】：硕士
【部分图文】：
常见的几种激活函数加上激活函数和偏置项后，此时神经元模型前向传播的数学表达式如下：1w
图 2-19 卷积神经网络传播过程代码示例上述程序分别定义了卷积核尺寸、偏置量和激活函数，并完成了卷积计算和池化计算，具体解释如下：第一行：通过 tensorflow 框架提供的 get_variable()方法创建并初始化卷积核的各项参数，其中前两个维度表示卷积核的尺寸，第三个维度表示卷积核的深度，第四个维度表示卷积核的个数，并将卷积核的值初始化为标准差等于 0.1 的正态分布的随机数。第二行：定义偏置项，并初始化为 0.1。与卷积核的个数相对应，本例中卷积核的个数为 16。第三行：tf.nn.conv2d()是 TensorFlow 提供的一个非常简单的函数来实现卷积神经网络的前向传播算法。input 为当前层的输入图像，是一个四维矩阵，后三维的矩阵表示一副输入图像，第一维表示图像的代号。例如，input[0,:,:,:]表示第一张输入图像，input[1,:,:,:]表示第二张输入图像。filter_weight 表示卷积层的参数，对应前文的第一行代码；strides 表示卷积核的移动步长，本例中步长为 1；padding 表示该层卷积层是否
1( )i i nyjjsoftmax y ye (通过公式(3-2)将神经网络的输出向量转化成概率分布，假设 p 代表真实值，q 代测值，根据公式(3-1)得知当交叉熵值越小，两个概率分布越接近，即预测值越接实值，此时神经网络模型的识别效果越好。.2 卷积神经网络结构和参数的确定通过对比实验，确定卷积神经网络的层数和结构，分析在 dropout 机制下，不同尺寸和卷积核尺寸对卷积神经网络的训练时长和识别精度的影响。2.1 静态手势数据集为了验证改进后神经网络的可行性，本文自行拍摄静态手势数据集供神经网络并验证。该静态手势数据集包含 5 类手势，约 5500 张图像，每类手势约 1100 张始图像的尺寸均为 640×360。图 3-2 展示了数据集中的五类手势。
【参考文献】：
期刊论文
[1]Recent advances in efficient computation of deep convolutional neural networks[J]. Jian CHENG,Pei-song WANG,Gang LI,Qing-hao HU,Han-qing LU. Frontiers of Information Technology & Electronic Engineering. 2018(01)
[2]模板匹配的三维手势识别算法[J]. 刘杰,黄进,韩冬奇,田丰,戴国忠,王宏安. 计算机辅助设计与图形学学报. 2016(08)
[3]基于视觉思维的人机交互遥感解译模式研究[J]. 鲁学军,尚伟涛,周和颐. 遥感信息. 2013(06)
[4]基于AdaBoost算法和光流匹配的实时手势识别[J]. 王凯,于鸿洋,张萍. 微电子学与计算机. 2012(04)
[5]一种面向实时交互的变形手势跟踪方法[J]. 王西颖,张习文,戴国忠. 软件学报. 2007(10)
[6]一种基于交叉熵的改进型PCNN图像自动分割新方法[J]. 刘勍,马义德,钱志柏. 中国图象图形学报. 2005(05)
[7]复杂背景下的手势分割与识别[J]. 任海兵,祝远新,徐光祐,张晓平,林学訚. 自动化学报. 2002(02)
[8]连续动态手势的时空表观建模及识别[J]. 任海兵,祝远新,徐光祐,林学訚,张晓平. 计算机学报. 2000(08)
[9]基于表观的动态孤立手势识别[J]. 祝远新,徐光祐,黄浴. 软件学报. 2000(01)
硕士论文
[1]基于计算机视觉的手势识别方法研究[D]. 李玉娟.西安电子科技大学 2017
[2]基于红外摄像的行人检测算法研究[D]. 吴思颖.吉林大学 2017
[3]基于数字图像处理的交警手势识别算法研究[D]. 马跃峰.吉林大学 2016
[4]基于数据手套的手势识别研究[D]. 王梦宇.东北大学 2015
本文编号：3240677
本文链接：https://www.wllwen.com/kejilunwen/shengwushengchang/3240677.html
最近更新
教材专著
