基于骨架和图像数据的多视角特征学习及其在行为识别上的应用

发布时间：2021-08-28 04:21

　　随着人工智能学科的发展以及计算能力的提高,基于深度学习的人体行为识别研究已经成为热门的研究课题之一,同时也是非常有挑战性的研究难点。因为人体行为识别技术在人类社会生活中有着广泛的应用,所以开展人体行为识别研究有着很高的实用价值。现有的行为识别方法通常只采用图像或是骨架等单一模态的数据。图像或视频包含直观的场景信息,但容易受到光照、遮挡等影响。骨架节点数据表示人体关节点在视频帧中的三维坐标,包含骨架的空间结构信息和时序的动态信息,同时骨架节点数据可以很好地避免遮挡,以及复杂背景等干扰,但是骨架数据缺乏外观的细节信息。因此,图像和骨骼数据存在高度的互补性,本文从骨架和图像两种模态的数据来进行多视角特征学习,结合两种模态数据的互补信息,提高行为识别的准确率。根据图像和骨架两种数据的特点,分别研究适合两者数据特点的深度神经网络模型。对于连续的视频帧数据,由于视频可以分解为图像数据和光流数据,采用双流的卷积神经网络架构来提取视频的时空信息,但是传统的双流网络很难有效的学习到视频中人体的长时程时空特征。针对双流卷积神经网络的不足,本文研究了卷积递归融合方法。该方法利用递归神经网络对长序列视频帧建模... 

【文章来源】：南京邮电大学江苏省

【文章页数】：54 页

【学位级别】：硕士

【部分图文】：

HMDB51部分动作图像库HMDB51数据集发布于2011年，这个数据集的内容来源比较多样，大多数来自于电影，

南京邮电大学专业学位硕士研究生学位论文第-章绪论8的训练集和测试集使用X-View进行代替。图1.3NTU-RGB+D部分图像1.6本章小结本章主要对人体行为识别的深度学习算法进行了调研。首先，对于传统的行为识别方法进行了大致的概括以及基于深度学习的行为识别的研究背景以及意义做了简单的介绍，其中包括基于卷积神经网络、循环神经网络以及图卷积网络的行为识别算法。然后分别阐述了面向视频帧的RGB图像数据和视频帧光流数据的人体行为识别的主流方法，以及面向人体关节点的人体行为识别的主流方法。最后，介绍了本文中要用的两个视频人体行为识别数据集UCF-101和HMDB51。这也是当前行为识别研究中非常具有挑战性的主流数据集。

南京邮电大学专业学位硕士研究生学位论文第二章基于深度学习的行为识别算法概述9第二章基于深度学习的行为识别算法概述2.1卷积神经网络相关介绍人工神经网络是一种受生物学启发的计算模型，该模型模仿了在人脑中存在的神经元网络之后对其进行抽象化。人工神经网络也可以被视为对输入输出关系进行建模的学习算法。人工神经网络的应用包括模式识别和预测，例如医学，商业，科学，数据挖掘，电信和运营管理等领域。人工神经网络将卷积后的结果与激活函数相乘来引入非线性函数，可以更好地拟合数据的特征分布。人工神经网络从数据中学习参数的这一过程称为训练。完成训练后，当输入了待测数据后，它就可以准确地预测输出，这一过程称为神经网络推理。图2.1多层神经网络如图2.1所示，深度学习网络模型包含三个部分，分别为输入层、隐藏层和输出层。深度神经网络包含的网络层数远远多于传统算法的网络模型。这样的好处在于，在通过不同卷积层的特征提取之后图像的低级纹理特征变成了可以表征语义信息的高级特征，增加了网络的拟合数据分布的能力。2.1.1卷积神经网络介绍卷积神经网络CNN自首次提出以来，就在图像识别领域受到了极大关注。由于其识别准确率远远超过传统算法，所以许多国内外学者对其进行了大量研究。随着CNN的广泛研究推广，该算法开始被应用于行为识别领域。区别于繁琐的人工特征提取方法，CNN网络的优势在于可以通过自主学习获取具有判别力的数据特征，从而实现准确的行为识别。近年来，CNN网络已成为行为识别领域最常用的特征提取器之一。"""",","1"1"(,)whckkcijccijciijjciiconvxwwx(2-1)


本文编号：3367781