基于深度学习的手语识别及步态预测

发布时间：2024-03-06 23:01

　　随着深度学习的发展,手语识别和步态预测作为人机交互的重要领域获得了快速发展。目前手语识别和步态预测的公开数据集基本为图像或者视频,其研究方法大多是基于这些图像和视频,但图像和视频容易受到拍摄角度和光照等条件的影响,从而降低性能。基于图像的步态预测精度较低,难以在外骨骼机器人控制中运用。为克服现有公开数据集的不足,本文提出了基于Kinect、惯性传感器、压力传感器和AirPods的多模态数据集,与基于图像和视频的数据集相比,基本不受拍摄角度和光照的影响。同时提出了适合多模态数据集的深度学习方法,能有效对采集的手语数据集进行识别和步态数据集进行预测。手语数据集已在GitHub公开。针对手语识别,本文搭建了基于数据手套、Kinect和AirPods的采集平台,采集了关节角度、图像、骨骼关键点和语音的多模态手语数据集,数据集共包含10句话共250个动作序列的多模态数据。与现有公开数据集相比,引入数据手套作为采集设备,采集收据更加稳定,同时数据集有更丰富的表达能力。针对多模态手语数据集,利用深度学习中的卷积神经网络,设计了SLRNet网络结构,包含6层卷积层、6层批归一化层和2层全联接层,输入数...

【文章页数】：75 页

【学位级别】：硕士

【部分图文】：

图1.1论文技术路线图

图2.1卷积层卷积层公式为：

图2.1卷积层卷积层公式为：=+∈其中为卷积层的输出，卷积层的输入为1层特征即，为层通道中的第个节点的值，为中被选中的特征区域，其包含了对应1层中所有的通道特征值，、分别为....

图2.2多种激活函数Sigmoid函数：()=1(2.4)

(c)ReLU(d)LeakyReLU图2.2多种激活函数Sigmoid函数：()=11+(2.4)Sigmoid函数的输出值在0到1之间，输出范围小，可以使得网络中的各个节点不会发散，在神经网络刚出现时被广泛应用，但随着卷积神经网络的不....

图2.3池化层

化公式为：=max∈化公式为：=1∈中第个通道中的第个节点，为1层中第个通道中对化窗口中的节点个数。层网络通过卷积层和池化层等可以得到图像的特征向量，若要像的识别分类或者目标检测等任务时，需要将特征向量输入用的卷积神经网络中....

本文编号：3921005