基于深度学习的动作识别研究与实现

发布时间：2022-01-01 18:22

　　随着人工智能与物联网的发展,人体动作识别在智能视频监控、智能人机交互、虚拟现实和运动分析等领域的需求日益增加。然而由于动作识别涉及多个学科且实际应用场景多变,一直是个充满挑战的研究方向。基于深度学习在图片分类任务取得的巨大成功,研究学者将其逐步应用到人体动作识别领域,但仍存在着动态特征不够高效、无法充分利用多模态信息等问题而无法实现实用化。为了充分挖掘动态特征以及利用多模态信息互补关系,本文着重研究高效的特征表达和特征融合来提升动作识别准确率。本文的主要贡献有三点:（1）基于光流有效性本质研究了一种人体轮廓特征来表征视频中的动态信息,即人和物体轮廓特征（Human–Object Contour,HOC）,通过结合物体类别包含了更高阶的语义信息,从而可以充分挖掘视频中的动态逻辑信息,优化光流动态特征。（2）研究了一种高效的多模态信息融合网络,即多模态有注意力的融合网络（Attentional Multi-modal Fusion Network,AMFN）。借鉴集成学习中的层叠泛化思想,同时参考人类视觉的选择性注意力机制,结合每个视频本身特征决定不同模态应分配的注意力大小,实现了多模态信... 

【文章来源】：东南大学江苏省 211工程院校 985工程院校 教育部直属院校

【文章页数】：79 页

【学位级别】：硕士

【部分图文】：

论文组织结构图

人体动作识别从动作复杂程度上分为:单人动作、交互动作和群体动作。单人动作识别是基于单个层次来实现,主要包括时空方法和时序方法两类。对于由多个简单动作组合而成的相对复杂的动作,识别思路是先识别容易建模的简单子动作,在此基础上再识别高层复杂动作。因此复杂动作识别方法常出现层级现象,等级体系的实现分为统计方法、句法分析法和基于描述的方法三种[24]。整体架构如图2.1所示。2.1.1 简单动作识别:单层法

一是基于时空体模型将视频序列看做为时空维度上的三维立方体。Bobick[6]构造了运动能量图MEI和运动历史图MHI。具体可参考图2.2。运动能量图是将相邻帧图片经过差分、二值化、叠加得到,突出展现视频中动作。运动历史图可以看做三维立方体沿时间轴的加权投影,表达了视频中的运动经过。该方法在反映运动物体姿态的同时包含了不同姿态的时序信息,对视频中颜色、纹理、亮度等因素具有鲁棒性但是对背景变化敏感,因此不用于摄像机视角有变化的视频。二是基于时空轨迹把人体动作描述为时空中轨迹的集合。时空轨迹如下图2.3所示。光流是通过检测连续视频帧在相同位置像素点随时间变化的强度变化,以此判断出物体运动方向和速度,常用于描述人体表面及边缘的运动轨迹。Alexel等人[7]通过计算检测到的人体框内图像水平和垂直方向(正反)四个方向的光流作为视频帧的特征表示。Ali等人[25]通过主成分分析来降低光流计算出的特征维度,作为最终特征进行分类。光流法无需对背景进行消除操作,但是对颜色、纹理、遮挡较为敏感,且计算量大,无法满足实时性较高的任务。

【参考文献】：
期刊论文
[1]深度卷积神经网络的发展及其在计算机视觉领域的应用[J]. 张顺,龚怡宏,王进军.  计算机学报. 2019(03)
[2]人体行为识别数据集研究进展[J]. 朱红蕾,朱昶胜,徐志刚.  自动化学报. 2018(06)
[3]基于深度学习的人体行为识别算法综述[J]. 朱煜,赵江坤,王逸宁,郑兵兵.  自动化学报. 2016(06)
[4]智能视频监控技术综述[J]. 黄凯奇,陈晓棠,康运锋,谭铁牛.  计算机学报. 2015(06)

硕士论文
[1]基于ARM智能家居监控系统的研究[D]. 习露.南昌大学 2018
[2]基于海思平台的人体异常行为识别研究及实现[D]. 郝恒恒.西安科技大学 2018
[3]基于视频时态信息演化的人体行为识别的研究[D]. 孙亚龙.吉林大学 2018
[4]基于深度学习的动作识别方法研究[D]. 韩敏捷.南京理工大学 2017
[5]基于深度学习的人体动作识别[D]. 耿驰.南京邮电大学 2016
[6]基于时空兴趣点的人体行为识别[D]. 杨佳慧.南京邮电大学 2014
[7]基于多特征融合的行为识别算法研究[D]. 杨丽召.电子科技大学 2013
[8]基于局部时空特征的人体行为识别以及打架行为检测[D]. 朱启兵.合肥工业大学 2012



本文编号：3562587