基于深度特征建模的人体行为识别与检测研究

发布时间：2021-07-28 22:43

　　人体行为识别近年来发展迅速,已经成为计算机视觉领域的热点问题,其目的在于分析理解视频内容,并识别出目标人物的动作类别。人体行为识别广泛应用于汽车自动驾驶、人工智能机器人、无人零售以及安防监控等领域。然而,由于视频背景的复杂性、光照变换以及相机运动等外在因素,以及人体运动多变性等内在因素,使得基于视频的人体行为识别任务的研究充满挑战。传统的行为识别算法主要依赖人工提取的标准特征,计算量大且时效性低。近年来,基于深度学习的行为识别算法已经成为主流,大部分算法都采用双流网络（Two-Stream）结构对视频的空间和时间特征进行学习。然而由于光流信息的语义不明确和数据冗余等问题,使得深度网络模型在处理复杂视频内容时在计算和特征层面存在着一定局限性。本文重点研究在不使用额外运动信息的情况下,利用卷积神经网络（Convolutional Neural Network,CNN）和长短期记忆网络（Long Short-Term Memory,LSTM）挖掘视频中的判别信息,对视频中的人体运动进行分析与理解。本文主要工作如下:（1）本文提出了一种基于判别语义特征学习的深度人体行为识别算法。首先通过上下文... 

【文章来源】：西安电子科技大学陕西省 211工程院校 教育部直属院校

【文章页数】：76 页

【学位级别】：硕士

【部分图文】：

012-2018年中国网络视频用户规模及占比

识别三个方向。目前，视频人体行为识别的研究方法主要分为两种，分别是基于传统人工标准特征的行为识别和基于深度学习的行为识别，如图1.2。早期的行为识别方法基本上取决于手工制作的特征，首先对输入的视频数据进行图像去噪、图像增强等预处理，然后对视频中人体运动区域进行目标检测、目标分类、运动跟踪、特征描述等一系列特征提取步骤，最后采用机器学习中的相关分类算法对数据进行动作识别与理解。基于浅层高维编码的局部时空特征是最著名的方法之一。最为广泛使用的浅层方法是改进的密集轨迹（iDT）算法，它描述了具有局部时空特征的稀疏时空兴趣点，即方向梯度直方图（HOG）、光流直方图（HOF）和运动边界直方图（MH）。使用词袋（BUG）将上述描述符编码为高维表示，可以通过空间金字塔池合并，然后与SVM分类器集成。此外，基于轨迹的人工特征表示的改进包括Fisher矢量编码，其本质是使用似然函数的梯度向量来表达图像。然而，传统人工提取特征的方法很大程度上依赖于数据集的质量

主要分为以下几种：基于视频序列、基于静态图像、基于深度图像、基于骨骼节点。从数据包含信息的多少和采集设备的难易程度来看，视频序列都是目前为止最优的选择，所以现今人体行为识别研究更偏向于视频序列，其主要研究方法如图2.1所示。接下来我们将分别介绍基于传统人工标准特征和基于深度学习中几种最具代表性的行为识别算法。图2.1行为识别常用算法分类2.2 基基于于传传统统浅浅层层特特征征的的人人体体行行为为识识别别方方法法基于传统的浅层特征提取方法可以分为局部和全局特征提取算法。以下做具体介绍：2.2.1 全全局局特特征征提提取取人体行为识别全局特征是指对检测出来的目标整体进行表示，一般是通过背景剪除法、高斯背景模型等来实现，通常采用的是人体的边缘，光流语义以及剪影边框等信息。但全局特征对噪声、目标遮挡、光线变化、视角变化等背景因素比较敏感。基于全局特征的提取算法步骤为：首先数据预处理部分先对图像/视频进行背景分割、目标检测等处理，然后提取视图像/视频的全局特征并利用SVM等分类器进9


本文编号：3308791