RGB和2D骨架序列中基于深度特征编码网络的行为识别方法

发布时间：2021-08-16 00:48

　　行为识别是计算机视觉的重要研究领域之一,因其具有实际应用前景,吸引了许多国内外学者的广泛关注,并且涌现了许多有价值的研究成果。但是,行为识别研究依旧面临和其他计算机视觉领域相同的问题,例如:视角变化,表观变化,动作执行速率变化等问题。另外,随着不同类型的数据传感器的出现,针对不同的数据类型,如RGB视频,深度视频以及骨架数据,人体行为识别的研究也涌现了不同的方法。为了更好地适用于实际场景,本文从RGB视频和2D骨架数据入手,针对这类数据中行为识别存在的这些问题,进行了深入的研究,主要的研究内容具体包括:（1）首先,本文基于RGB和2D骨架序列设计了基于骨架关节点采样的局部轨迹时空体特征,从视频中提取更加简洁有效的局部时空特征。其次,在算法中提出了基于深度学习的视频局部特征表示和编码方法,并且将深度学习特征与手工特征融合,提高了基于骨架关节点采样特征的识别效果。此外,在文本的工作中,对比了分关节点编码和合并所有节点特征的编码方式,在分关节点编码的基础上,尝试了不同关节点组合的策略,进一步提高了识别准确率。（2）本文提出了端对端的视觉单词模型以及该模型的训练策略。端对端模型在许多计算机视觉... 

【文章来源】：华侨大学福建省

【文章页数】：73 页

【学位级别】：硕士

【部分图文】：

传统方法流程

14图2.1单隐层卷积神经网络结构其中，神经元结构的示意图如图2.2所示，,,…,表示神经元输入，通过权值,,…,得到加权和，再加入激活函数f，输出为。神经网络将前一层的神经元的输出作为后一层神经元的输入。图2.2神经元结构神经网络的拟合过程是通过反向传播（BackPropagation,BP）实现的。在训练过程中，网络通过前向传播得到预测值，通过计算预测值与真实值之间的差距=∑||||，在反向传播阶段调整神经网络的参数大小，的值越小，神经网络的拟合程度就越高。因此，神经网络的训练目标是优化函数使的值变小，如果可以找到全局最小值点，那么认为神经网络收敛。待优化函数叫做损失

14图2.1单隐层卷积神经网络结构其中，神经元结构的示意图如图2.2所示，,,…,表示神经元输入，通过权值,,…,得到加权和，再加入激活函数f，输出为。神经网络将前一层的神经元的输出作为后一层神经元的输入。图2.2神经元结构神经网络的拟合过程是通过反向传播（BackPropagation,BP）实现的。在训练过程中，网络通过前向传播得到预测值，通过计算预测值与真实值之间的差距=∑||||，在反向传播阶段调整神经网络的参数大小，的值越小，神经网络的拟合程度就越高。因此，神经网络的训练目标是优化函数使的值变小，如果可以找到全局最小值点，那么认为神经网络收敛。待优化函数叫做损失

【参考文献】：
期刊论文
[1]新一代人工智能发展规划[J].   先锋. 2017(08)



本文编号：3345242