基于骨架信息的人体行为识别研究

发布时间：2024-02-15 22:12

　　人们用行为动作来处理事情、表达情感,而且行为识别有非常广泛又未被充分解决的应用领域,因此近年来,关于人体行为的识别问题逐渐发展为计算机视觉领域极其重要也是极其活跃的研究方向。一方面,以往的很多研究基于RGB视频或图像信息,缺点是图像数据面对复杂背景以及人体尺度变化、视角变化和运动速度变化时鲁棒性不足、精度不高,或模型的泛化能力不强等。另一方面,Kinect相机的发展在一定程度上也推动了行为识别方法的扩展,人们开始关注骨架信息在表征运动方面的优势。但存在的问题是,此类方法比较依赖于设备对于骨骼节点的提取。综上,为了有效规避此类问题,本文基于视频使用当前流行的骨骼关键点检测方法,从骨骼信息中提取特征进行人体行为识别。主要工作如下:第一,基于本文的研究,自采集得到行为数据集,采集方式兼顾复杂背景、光照背景与多视角几个影响因素,共包含九类日常人体行为动作,具有较高的研究价值。测评了当前最流行的骨骼关键点检测方法OpenPose与AlphaPose,对比各自的优缺点并结合研究需要,选择OpenPose作为本文的骨骼关键点检测方法,对数据集中的运动目标进行骨骼建模,并添加类别标签,以供后续研究使用...

【文章页数】：59 页

【学位级别】：硕士

【部分图文】：

图3基于人体骨架信息和深度学习的行为识别流程

本研究设计了基于人体骨架信息和深度学习的行为识别流程，如图3所示。第一步，采集学生课堂行为数据，具体包含7种学生课堂行为的图像与标签。第二步，提取人体骨架信息，即利用OpenPose，获取学生课堂行为图像的人体骨架图像信息——首先，有效排除学生的体态、穿着、教室背景等干扰因素；....

图5两种方法在学生课堂行为数据集上识别多种课堂行为的准确率对比结果

在相同的实验条件下，经过10次随机实验，本研究对比了CNN-10、学生课堂行为识别方法在学生课堂行为数据集上识别多种课堂行为的准确率，结果如图5所示。通过计算，本研究得出CNN-10的平均识别准确率为93.65%，而学生课堂行为识别方法的平均识别准确率为97.92%，可见这两种方....

图1-7深度学习CNN与LSTM融合学习过程

图1-7深度学习CNN与LSTM融合学习过程[33]国内外基于骨骼节点的人体动作识别研究中，虽然有一些问题还没有完全解决，但不可否认在对骨架数据的推理过程中，提供了一些非常方便的机会来研究更为成熟的框架，扩大对人类姿态行为识别的理解[38]，这种研究将显著提高人体姿态....

图4-1本文的姿态识别结构框架

姿态识别研究中，2D彩色图像存在难分割且缺乏空间信更多的倾向借助Kinect深度传感器来解决这些问题，该GB图像和深度图，以及人体骨架关节图[49]。虽然在表示行然存在一些缺陷，但是相较于基于2D彩色图像的识别方得到更好的特征表示，更有效地提取信息进行行为分类研究设计一种....

本文编号：3900326