基于深度学习的骨架序列-视频动作识别研究

发布时间：2024-06-01 13:54

　　随着计算机视觉技术的迅猛发展,动作识别作为其重要的研究方向吸引了越来越多科研者的研究兴趣。当今,人体动作识别技术在交通、医学、体育、教育、虚拟现实、安防监控等领域有着广泛的应用空间以及巨大的发展前景。按输入数据类型划分,动作识别任务可以分为基于骨骼序列的动作识别和基于视频的动作识别。其中骨骼序列记录了连续时间内人体主要关节点的特征信息,如三维空间坐标。本文对这两种识别任务进行了详细地研究。结合主流算法在这两种任务上的表现,分别提出了相应的改进算法。本文研究内容如下:1.在基于骨骼序列的动作识别方面,本文受人类视觉机制的启发,讨论了注意力机制和共现特征机制的重要性,在空时图卷积网络(ST-GCN)的基础上,提出了适用于其的注意力分支和共现特征学习分支,从而形成动作识别的多任务框架。实验证明提出的算法性能远远优于ST-GCN和其他主流算法。最后进行消融实验,说明并解释了各分支的有效性以及多任务框架的优越性。2.在基于视频的动作识别方面,本文针对双流卷积网络需要预先计算光流从而导致计算速度慢的问题,提出了使用轨迹滤波器和随机跨帧融合的组合策略替代光流。其中,轨迹滤波器建模动作的时间联系,随机...

【文章页数】：72 页

【学位级别】：硕士

【部分图文】：

图1.1动作识

浙江大学硕士学位论文绪论2(c)自动驾驶(d)虚拟现实图1.1动作识别应用场景1.安防视频监控[4]：视频监控是一种很常见的监测手段。随着人们公共安全意识和防范意识的提高，在一些重要公共场所的各个区域都布有多个监控摄像头。它们用来记录范围内人的行为轨迹，捕捉人群聚集、打架、偷盗、....

图1.2人体主要身体关节图[34]

浙江大学硕士学位论文绪论4量。图1.2展示了人体主要关节点。骨骼序列动作识别将上述骨骼数据输入到动作识别模型中最终得到分类结果。在动作识别中，骨骼序列作为输入数据有诸多优点。一方面它十分鲁棒，不受光照、背景噪声、对比度等约束影响；另一方面，与记录太多冗余信息的RGB视频相比，它简....

图1.3卷积操作示意图(L表示视频帧时间维度)

的整个时空范围内聚合局部卷积的特征。视频的光流需要大量的计算，所以双流法很难满足实时性的要求。为了优化动作识别的速度，寻找可以替代光流的方法成为当前动作识别领域极其重要的研究方向。Zhang等[31]使用运动轨迹编码替代光流信息。Tang等[32]提出了轨迹幻化网络(MoNet)....

图2.1图卷积网络典型结构[38]

浙江大学硕士学位论文行为识别相关技术简介11图进行四次图卷积操作，更新节点的高级特征，之后池化(Pooling)层将图简化为子图，继续进行四次图卷积操作，最后依次经过Pooling层、多层感知机(MLP)、Softmax函数得到预测概率的向量，进而实现图分类任务。图2.1图卷积网....

本文编号：3985991