基于单目摄像头的嵌入式手势识别算法研究与实现

发布时间：2024-03-31 08:00

　　基于单目摄像头的手势识别是人机交互领域的热门研究方向之一。然而,单目摄像头下的手部检测和识别仍然受到复杂背景、运动模糊、光线变化等问题的影响。虽然近几年基于深度学习的目标检测算法显著提高了手部检测的准确率,但仍然存在很高的计算开销,不适用于嵌入式平台。因此,本文基于轻量级的CNN模型,研究实现快速准确的手势识别算法,并将其应用于嵌入式平台。首先,本文结合SSD框架和改进的MobileNet模型实现了静态图片的手部检测和方向估计。为提高模型的检测精度,本文修改了MobileNet模型的网络结构,并通过自顶向下的特征融合结构引入上下文信息。为了精确估计手部方向,本文建立长轴和短轴向量的概念,并通过估计向量在水平和垂直方向的投影,实现手部方向对齐边框的检测。接着,本文针对视频序列提出快速的手部检测和手形识别算法。该检测模型根据上一帧检测结果确定当前帧的搜索区域,然后进行手部检测和手形识别,以此迭代地完成视频序列的检测。同时,本文针对模型训练给出了样本生成和数据扩增的方案。最后,本文将上述算法在嵌入式平台Jetson TK1上进行实现和优化,先后采用多种方案缩减模型的计算开销和内存读写,有效减...

【文章页数】：82 页

【学位级别】：硕士

【部分图文】：

图3-4Oxford手势数据集上标注的手部真实边框

验结果据集和评估方法在Oxford手势数据集[13]上评估了所提出的手部检测和方向估计模型。如前据集收集于多个公开图像数据集。数据的收集过程没有限制人体是否可见件做任何限制。每张图片中的手部用边框进行了标注，并使每个标注的边对齐，如图3-4中的实线边框所示。实际的标注文件....

图4-3EgoFinger数据集中的多个场景的示例图片

（batchsize）设定为32，并进行90k次迭代训练。模型初始的学习率设定为10-3，然后分别在第60k次和第80k次训练迭代时进行10倍的衰减，将学习率分别降至到10-4和10-5。4.3数据集和实验结果4.3.1EgoFinger数据集Eg....

图4-4本文采集的数据集中手部的示例图像

模型对于多种手形的识别能力。为了充分评估检测模型，本文采集了多种场景下的手势视频数据集，其中共定义了三种手形，包括“握拳”、“手掌”和“单指伸出”。参考EgoFinger数据集，本文采集的数据集也涵盖了复杂背景和多种光照等难点。而且，本文在数据集采集过程中，对各个手形的姿态和....

图4-5对比EgoFinger数据集的测试视频上的手部检测结果

中分别列出了HuangY等[16]的方法和本文方法在EgoFinger测试集上FRCNN曲线的数据来自于HuangY等的工作[16]，他们基于FasterR-法在EgoFinger数据集上达到最好的检测效果。同样，本文也基于Eg型训练，并在同样的测试视....

本文编号：3943696