基于骨架序列的轻量型人人交互行为识别方法

发布时间：2024-07-05 20:23

　　人体行为识别作为视频理解中的一个重要研究领域,其在智能监控、智能看护、人机交互以及机器人控制等场景有着广泛的应用。在人体行为识别的研究中,采用RGB视频数据容易受到背景多样性、光照变化、行为人衣着变化等因素影响,而人体骨架数据本身是对人体的高度抽象,且具有相对较好的抗干扰性,因此基于骨架的行为识别研究成为一个热点。目前骨架行为识别方法中,基于卷积神经网络的方法能精确地对骨架序列进行时空建模,但是所采用的模型参数量较大,并且需要用大型图像分类数据库预训练,这对硬件的存储和计算性能带来了挑战。此外,人人交互行为作为人体行为的一个子集,没有被针对性地建模,因此人人交互行为识别的准确度还有待提升。针对上述问题,本文提出了一种轻量型的人人交互行为识别方法,能在占用极少参数量且无需预训练的情况下精确地识别人人交互行为。本文主要工作如下:首先,本文使用从深度相机获取的三维骨架数据进行行为识别。针对行为识别模型参数量大的问题,本文以极少的参数构建了一种轻量型卷积神经网络用于人人交互行为识别,该网络包含特征提取网络、交互特征学习模块以及行为分类模块。为了提取骨架序列中人体行为的时空特征,本文首先将骨架序...

【文章页数】：81 页

【学位级别】：硕士

【部分图文】：

图4.3PCM可视化结果图(a)“右手肘”关节点PCM(b)“右手腕”关节点PCM

图4.6FlowNet2.0[6]网络结构示意图

本文编号：4001480