基于四元数时空卷积神经网络的人体行为识别

发布时间：2024-05-29 00:28

　　传统卷积神经网络(CNN)只适用于灰度图像或彩色图像分通道的特征提取,忽视了通道间的空间依赖性,破坏了真实环境的颜色特征,从而影响人体行为识别的准确率。为了解决上述问题,提出一种基于四元数时空卷积神经网络(QST-CNN)的人体行为识别方法。首先,采用码本算法预处理样本集所有图像,提取图像中人体运动的关键区域;然后将彩色图像的四元数矩阵形式作为网络的输入,并将CNN的空间卷积层扩展为四元数空间卷积层,将彩色图像的红、绿、蓝通道看作一个整体进行动作空间特征的提取,并在时间卷积层提取相邻帧的动态信息;最后,比较QST-CNN、灰度单通道CNN(Gray-CNN)和RGB 3通道CNN(3Channel-CNN)3种方法的识别率。实验结果表明,所提方法优于其他流行方法,在Weizmann和UCF sports数据集分别取得了85.34%和80.2%的识别率。

【文章页数】：8 页

【部分图文】：

图I人体运动关键区域提取示例

第１１期??孟勃等：基于四元数时空卷积神经网络的人体行为识别??２６４５??式中：〇：（〇（?＜?１）和识／３?＞?１）为亮度范围的阈值。另外，??颜色标准定义为：??ＣＣ；（?＊，，！；，?）＝??Ｊ（Ｒ２?＋?Ｇ２?＋?Ｂ２）－??（Ｒ，Ｒ?＋?Ｇ，Ｇ?＋?Ｂ，Ｂ）??Ｒ，２....

图2QST-GNN的网络结构

第１１期??孟勃等：基于四元数时空卷积神经网络的人体行为识别??２６４５??式中：〇：（〇（?＜?１）和识／３?＞?１）为亮度范围的阈值。另外，??颜色标准定义为：??ＣＣ；（?＊，，！；，?）＝??Ｊ（Ｒ２?＋?Ｇ２?＋?Ｂ２）－??（Ｒ，Ｒ?＋?Ｇ，Ｇ?＋?Ｂ，Ｂ）??Ｒ，２....

图3Gray-CNN和3Channel-CNN的结构

２６４６??仪器仪表学报??第３?８卷??１）

图５?ＵＣＦ?ｓｐｏｒｔｓ数据集上本文方法的混淆矩阵??Ｆｉｇ．?５?Ｃｏｎｆｕｓｉｏｎ?ｍａｔｒｉｘ?ｆｏｒ?ｔｈｅ?ＵＣＦ?ｓｐｏｒｔｓ?ｄａｔａｓｅｔ??

２６４８??仪器仪表学报??第３?８卷??跳水??打高尔夫??踢球??举重??骑马??跑少??滑板??鞍马??单双杠??行走??％％?％?％?＼?％??图５?ＵＣＦ?ｓｐｏｒｔｓ数据集上本文方法的混淆矩阵??Ｆｉｇ．?５?Ｃｏｎｆｕｓｉｏｎ?ｍａｔｒｉｘ?ｆｏｒ?ｔｈｅ?ＵＣＦ?....

本文编号：3983824