基于深度学习和关键帧提取的哑语手势识别算法研究

发布时间：2020-12-15 04:51

　　随着人工智能在科研领域的快速发展,深度学习技术得到了普遍应用,手势识别技术在日常生活中提供了很大的便利。哑语手势识别技术有助于聋哑人与非聋哑人之间的智能交流。然而,现有的哑语手势识别算法仍然存在识别复杂手势困难、动态手语识别准确率低、视频序列数据训练中存在潜在问题等缺点。因此,提出一种适度且高精度的哑语手势识别算法是哑语手势识别领域的一个至关重要的研究课题。在现有的哑语手势识别算法中,主要有以下问题:（1）手语动作一般是由一连串的有序动作组成的,并且各动作之间是一种连贯的规律动作,所以,哑语手势识别算法只针对静态手语动作很难准确地识别一般具有复杂变化规律的哑语手势。（2）目前的研究热点是采用计算机视觉技术,利用深度摄像头采集视频流信息,哑语手势识别算法通过分析丰富的特征信息来分类特定的视频序列。由于采集的视频流中身体躯干部位所占的比例较大,所研究的重点对象手部相对来说比较小,如何处理手部运动在身体背景影响下的哑语手势动作识别也是一个难点问题。（3）另外,如何从视频序列中提取最有效的特征,也存在挑战性。对已有的特征进行分类也需要一个合适的分类器来配合完成。因此,设计一个高精度的哑语手势特... 

【文章来源】：南昌大学江西省 211工程院校

【文章页数】：55 页

【学位级别】：硕士

【部分图文】：

图２．］动态哑语手势动作和静态哑语手势动作举例??２．２基于传统方法的哑语手势识别算法概述??

?第２章哑语手势识别算法概述???常见的哑语手势识别算法需要借助辅助设备，主要是利用可穿戴数据手套??和深度摄像机，可穿戴数据手套设备捕获手语动作的图像信息，深度摄像机可??以捕获视频深度信息。对于利用穿戴数据手套设备而言，光学、磁性或声学传??感装置附着在手或人体上以报告它们的位置。如图２．３所示，示例包括数据手??套、数码相机、加速度计。这些传感技术在几个方面存在差异，包括精度、分??辨率、延迟、运动范围、用户舒适度和成本。然而，它们通常要求用户佩戴笨??重的设备，并携带连接设备和计算机的电缆。这妨碍了用户与计算机交互的易??用性和自然性。此外，在使用这些设备时需要进行大量的校准。这些方面给用??户增加了额外的负担。??園粟：??Ｗ＾ｍ：?圈■?如??（ａ）?１（ｂ）??＿?＿??（ｃ）?一??（ｅ）??图２．３用于手语识别的辅助设备。（ａ）数据手套，（ｂ）加速度计，（ｃ）Ｇｏｏｇｌｅ?Ｔａｎｇｏ，（ｄ）?Ｌｅａｐ??ｍｏｔｉｏｎ?ｃｏｎｔｒｏｌｌｅｒ？?（ｅ）?ｋｉｎｅｃｔ??Ｗａｎｇ等人１１４１提出了一种稀疏观察方法，根据典型的手势姿势来标记每个??手势动作。具体地说，该方法是通过考虑典型的手势片段，这些手势片段中的??手部动作相对较慢且手部形状稳定。因此，两个手势动作之间的匹配被转换以??测量两个对齐的稀疏矩阵序列之间相似度的计算。在训练阶段，将来自一个手??势动作的多个实例融合以生成单个稀疏矩阵模板。在识别阶段，每个探针的稀??疏矩阵都会向模板的稀疏矩阵提出“提议”，以进行合理的相似度计算。为了进??一步加快稀疏矩阵的对齐速度，在生成稀疏矩阵的独特低维特征之前，先将手??的姿势关系图

得准确的??手部位置信息，必须选择高性能的物体检测算法。针对手部位置定位，与ＳＳＤ??模型１５２１和ＹＯＬＯ模型［５３ｉ相比，Ｆａｓｔｅｒ?Ｒ－ＣＮＮ模型１５４１具有更高的精度和更强的??鲁棒性，可用于较小的物体检测。??建议框生成器??Ｆａｓｔｅｒ?Ｒ－ＣＮＮ??＿?Ｊ?Ｉ目标分类??■Ｊ?＊＊丨丨丨多目标分类??特征提取回归框??＂＂ｉＳＤ，?ＹＯＬＯ?迮议枢屮成器??＿?ｒ￣Ａ．．．．．．．．．多目标分类??Ｌ?；网络模学Ｌｆ＾ｎ?１ｌ回归框??特征提取??图３．?１?Ｆａｓｔｅｒ?Ｒ－ＣＮＮ模型，ＳＤＤ模型和ＹＯＬＯ模型的区别??如图３．１所示，ＳＳＤ模型和ＹＯＬＯ模型的目标检测方法主要由两个模块组??１５??


本文编号：2917692