大熊猫行为识别研究与应用

发布时间：2021-08-20 07:33

　　行为识别是计算机视觉领域中的一个重要方向,也是近年来随着深度学习浪潮兴起的一个研究热点。行为识别技术以图片、视频信息为基础,提取其中时空特征进行学习建模,从而对目标当前的行为动作进行判别,以方便决策人员快速反应并采取相应措施。当前的行为识别技术及其相关研究主要针对人类行为,人类行为定义较为精确,可辨识度高,数据集充足,在近几年人类行为识别技术已经取得了可喜的进展。与人类行为识别方法研究相比,针对大熊猫的行为识别研究存在着如下亟待解决的问题:（1）现实中大熊猫行为数据匮乏,可以获取到的视频数据同质化问题严重。（2）目前没有一个标准的数据集用来评价熊猫行为识别效果。（3）由于体态、环境噪音等多种影响因素,大熊猫姿态模糊、可辨识度低,增加了对这类生物识别的困难（4）从长期发展来看,大熊猫行为识别技术对时间性能有一定要求。针对上述问题,本文提出了两种基于Transformer模型的大熊猫行为识别算法。一种是基于空时信息模型的CNN-Transformer算法,该算法利用卷积神经网络提取视频帧的空间特征图,将特征图压缩为向量并输入到Transformer的encoder部分实现时序建模;另一种是... 

【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校

【文章页数】：80 页

【学位级别】：硕士

【部分图文】：

iDT流程

电子科技大学硕士学位论文单帧图像分类在卷积神经网络兴起后已经有了很不错的进展，相比单帧，视频分类多出了一个时序信息，这就为分类增添了难度。CNN+RNN 模路就是利用擅长时序建模的 RNN 模型来捕捉视频的时序信息，首先用图像的特征，再将特征压缩为一维向量，再将向量送入 RNN 模型进行一个语义模型。运用训练好的模型时，将一个序列的图像向量逐个送入语会得到一系列输出，取最后一个输出可以得到视频的分类结果。3D 卷积模型主要是基于 3D 卷积运算，相对于 2D 卷积运算，3D 卷积运个时间维度的卷积，具体表现在视频处理上就是可以一次性卷积多张图片-3。

第二章 行为识别相关基础理论知识双流法将网络分为两个部分，一个部分称为空间流卷积网络，另一个部分称为时间流卷积网络。空间流卷积网络本质上跟普通的基于 2D 卷积网络的图片分类没有太大区别，只是做多张图片的分类再平均结果；时间流卷积网络负责对视频进行时序建模，其主要利用了光流场来描述视频的时序信息，再将光流场作为输入赋予2D 卷积网络进行分类。最后再将两个部分的分类结果进行一个融合。双流法的流程如图 2-4 所示。


本文编号：3353089