基于单张彩色图片的手势估计方法研究

发布时间：2023-02-18 09:48

　　手势是人类非常重要的肢体语言之一,在人的所有姿态中,手势占的比重最大。手势估计是利用计算机技术去分析和估计人类手部动作的姿态,在目前这个智能时代,手势估计在人机交互的应用中是至关重要的,非常具有研究的意义和价值。基于深度图像的手势估计近几年来已经取得了不错的成绩,主要原因在于优良的数据获取设备深度摄像头的出现和基于深度学习的算法不断创新。但基于深度图像的手势估计在实际的应用中是非常受限的,所以近两年的研究开始出现基于彩色图像的手势估计。但由于手自身的一些特点,例如灵活度大、分辨率低和关键点识别的难易程度不一样等,还有最主要的是在完全不具有深度信息的情况下从2D图片去估计3D姿态,这些挑战都使得目前基于彩色图像的手势估计还不够理想。为了解决彩色图像手势估计遇到的一些问题,本文提出了如下几点创新性解决方法:(1)使用Hourglass Network进行手部关键点检测,由于Hourglass Network自身的网络特点,它可以从整体到局部去把握手部关键点之间的位置关系。(2)采用SSD检测算法去定位图片中手部的位置,并将关键点的2D估计过程和手部定位过程进行了融合。这样在进行手部定位时也...

【文章页数】：71 页

【学位级别】：硕士

【文章目录】：
致谢
摘要
ABSTRACT
1 引言
    1.1 研究背景与意义
    1.2 国内外研究现状
    1.3 本文研究内容
2 手势估计
    2.1 手姿态估计概述
    2.2 手势估计方法
        2.2.1 生成方法
        2.2.2 判别方法
        2.2.3 混合方法
    2.3 本章小结
3 基于深度图像的手势估计方法
    3.1 手部的检测
        3.1.1 传统目标检测方法
        3.1.2 候选区域选择
        3.1.3 基于区域提名的目标检测
        3.1.4 基于端对端学习的目标检测
    3.2 手部的分割
        3.2.1 图像切割
        3.2.2 基于深度学习的图像分割
    3.3 2D关键点检测
        3.3.1 自上而下的关键点检测
        3.3.2 自下而上的关键点检测
    3.4 卷积神经网络
        3.4.1 特殊卷积核
        3.4.2 深度卷积神经网络
    3.5 本章小结
4 基于彩色图像的手势估计方法
    4.1 问题分析及解决思路
        4.1.1 问题分析
        4.1.2 解决思路
    4.2 手部关节点描述
        4.2.1 手部关节点自由度
        4.2.2 手势的表示
    4.3 3D姿态的重建
    4.4 基于Hourglass Network的RGB图像手势估计
        4.4.1 Residual模块
        4.4.2 Hourglass Network
        4.4.3 网络架构
    4.5 基于多层次特征融合的RGB图像手势估计
        4.5.1 SSD定位手部位置
        4.5.2 多层次特征融合
        4.5.3 网络架构
    4.6 本章小结
5 实验与分析
    5.1 实验数据
        5.1.1 手势估计数据集
        5.1.2 手势识别数据集
    5.2 对比算法
    5.3 实验评价方法
    5.4 手势估计评估
        5.4.1 网络的训练配置
        5.4.2 2D关键点检测效果评估
        5.4.3 3D姿态估计评估
        5.4.4 手语识别效果评估
        5.4.5 时间性能的评估
    5.5 细节分析
        5.5.1 样例分析
        5.5.2 实时的手势估计
    5.6 本章小结
6 结论
    6.1 研究工作总结
    6.2 展望
参考文献
作者简历及攻读硕士学位期间取得的研究成果
学位论文数据集



本文编号：3744730