基于深度学习的视频人体动作识别研究

发布时间：2020-12-21 18:09

　　人体动作识别是判断一段视频中人的动作的类别。人体动作识别具有广泛的应用前景,如火车站监控、智能医疗机器人、考场作弊行为分析等。传统的动作识别方法需要手动提取视频的特征进行分类,工作量较大且识别率低。基于深度学习的方法能够自动的提取视频中的特征,更准确的识别视频中的动作。目前基于深度学习的动作识别方法主要存在两个问题:一是现有的方法无法有效利用视频中的关键时空信息,特征中存在着大量的冗余时空信息。二是现有方法缺乏对交互动作中关键时空信息的推理,动作识别率尚存提升空间。因此,本文以双流网络为基础提出两种动作识别方法来提高动作识别性能。首先,本文提出一种基于双流时空注意力机制的动作识别方法。该方法先将通道注意力机制引入到双流基础网络中,通过对特征通道间的依赖关系进行建模来校准通道信息,提高特征的表达能力。其次,提出一种基于CNN(Convolutional Neural Networks,CNN)的时间注意力模型,使用较少的参数学习每帧的注意力得分,重点关注运动幅度明显的帧。同时,提出一种多空间注意力模型,从不同角度计算每帧中各个位置的注意力得分,提取多个运动显著区域。接着,对时空特征进行融... 

【文章来源】：辽宁大学辽宁省 211工程院校

【文章页数】：66 页

【学位级别】：硕士

【部分图文】：

Le-Net模型图

第2章相关工作8图2-1Le-Net模型图卷积神经网络的特点有两个：稀疏连接和参数共享。稀疏连接：动物大脑中存在大量神经元，在感知外界物体时只有部分神经元起作用。图像的结构也是这样，图像空间内的联系是局部的，因此只需要感受局部的神经元就可提取图像特征。局部神经元的连接如图2-2所示。局部神经元结构中，每层神经元并不和上一层全部连接。第m层的每个神经元接受来自m-1层的3个神经元的输入，同样，第m+1层的神经元接受m层的3个神经元的输入得到特征。这个特征综合了神经元之间的联系，是最后的全局特征。局部神经元的连接就是稀疏连接。稀疏连接不仅可以减少连接的数目，还可以增强图像信息。图2-2局部神经元的连接图参数共享：在不同神经元之间共享参数能减少整体的参数量。在图像处理中，需要使用卷积核对图像进行操作。参数共享是对图像进行卷积操作时使用相同的卷积核，即整个图像的像素都共享参数。这样不仅减少参数数量，还能降低网络运算的复杂度。另外，共享参数使得图片底层边缘特征与其在图中的位置没有关系，具有平移不变性。参数共享如图2-3所示。

第2章相关工作9图2-3参数共享图卷积神经网络由输入层、卷积层、激活层、池化层、全连接层以及输出层组成，下面各层分别进行介绍。输入层：对输入图像进行预处理的一层，预处理操作包括灰度处理、归一化、去均值等。卷积层：卷积层是对经过输入层图像进行卷积操作。不仅能增强一些特征，还能降低噪声。卷积操作用一个卷积核对图像进行滑动卷积，将卷积核的参数与感受野的像素相乘求和，再加上偏置参数，得到卷积结果。卷积操作具体如图2-4所示。图2-4卷积操作图激活层：激活函数用于卷积层和池化层之间，能增加网络的非线性，增强神经网络的表达能力。常用的激活函数有Sigmoid函数、Tanh函数和ReLU函数，这三个激活函数如图2-5所示。

【参考文献】：
期刊论文
[1]人体动作行为识别研究综述[J]. 李瑞峰,王亮亮,王珂.  模式识别与人工智能. 2014(01)



本文编号：2930254