基于深度学习的视频-骨架序列人体动作识别研究

发布时间：2021-01-28 09:26

　　在基于视觉的人机交互中,利用人体动作是非常有效的方法。然而动作是一个复杂的三维信号,在复杂的场景下高效稳定的识别人体动作仍然存在很多问题。针对人体动作识别问题,本文分别从视频序列、人体骨架序列以及二者的融合中提取动作时空特征,利用卷积神经网络识别分类。根据项目需求,本文研究内容主要分为以下几个部分:基于视频流的双通道卷积神经网络动作识别算法。针对现有的双通道卷积神经网络由于计算稠密光流速度缓慢的问题,提出一种在训练和识别过程中都是端到端的双通道卷积神经网络框架。网络包含空间和全局时域两个通道,对人体动作进行表征和识别。以MobileNetV2为基础网络,空间通道对动作图像进行深度学习,全局时域通道对能量运动历史图（Energy Motion History Image,EMHI）进行深度学习,然后将两个通道融合,并采用一种多帧融合的方法来提升准确率。基于骨架序列的卷积神经网络动作识别算法。基于视频的卷积神经网络模型对于场景的变化鲁棒性较差,并且不能在夜间识别。本文提出一种基于骨架序列的动作识别系统,首先对人体骨架序列进行视图不变变换以消除视点的影响,然后将变换后的序列编码到RGB空间,... 

【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校

【文章页数】：83 页

【学位级别】：硕士

【部分图文】：

人体动作等级本课题基于视频-骨架序列对于家庭环境下人体动作识别问题展开研究，但由

运动信息的有效时空表示对于人体动作准确率和鲁棒性。图 1-2 动作识别流程取动作特征体结构的表示方法识别方法采用 3D 模型来描述动作，1983 年 Hog了 WALKER 等级模型来理解和解释人类行为。Ro识别框架，该模型使用连接的气缸及其演变来识别ogg 等人提出的 WALKER 等级模型，右图是 Rohr

图 1-4 Johansson 实验示意图?Yilmaz 等人[6]首先选取人体的 13 个关节节点，然后对于一个视频序列帧都进行提取和跟踪，最后得到人体关节节点在整个视频中的轨迹，进作进行识别，如图 1-5 所示。图 1-5 人体节点轨迹2 全局特征表示方法

【参考文献】：
期刊论文
[1]基于Kinect骨架追踪的人体摔倒自动检测[J]. 王君泽,朱小龙,瞿畅.  上海交通大学学报. 2015(09)



本文编号：3004753