基于CVAE-CGAN模型的3D手势估计方法研究

发布时间：2023-05-07 19:42

　　手势估计是计算机图形领域与人机交互领域中重要的研究方向。随着计算机计算速度的突飞猛进以及其硬件成本的降低,基于深度学习的手势估计也得到了跨越式的发展。手势估计在自动驾驶、虚拟现实(AR)、增强现实(VR)、智能家居等诸多实际场景中具有广泛的应用。因此,手势估计已成为人类社会智能化发展的重要研究领域。然而,由于手部姿态变化丰富、手势识别背景复杂等原因,当前的手势估计在识别准确度、识别实时性等方面仍然存在诸多问题。首先,本文对手势估计中手部分割的已有方法进行了分析和研究。通过研究发现,提高手部分割的准确性有助于提升手势估计的效果,而传统基于语义分割的手部分割方法对于细节的刻画不足,因此,本文提出了基于融合结构FCRN网络的手部分割方法。首先,通过NIN模型将手势数据集中的RGB图像进行处理得到对应的皮肤检测图像;然后,将手势数据集中的RGB图像与通过NIN模型得到的皮肤检测图输入到具有Atrous空间金字塔池的全卷积残差网络FCRN网络进行深度融合训练,其中Atrous空间金字塔池用来优化模型的特征提取;最后,通过实验验证得出本文提出的方法优于传统的手部分割方法。其次,本文对手势估计中的三...

【文章页数】：77 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
第1章 绪论
    1.1 研究背景及意义
    1.2 国内外研究现状
        1.2.1 手部分割算法的国内外研究现状
        1.2.2 手势估计方法的国内外研究现状
    1.3 本文主要研究内容与章节安排
        1.3.1 主要研究内容
        1.3.2 章节安排
第2章 基于深度学习的手势估计相关理论
    2.1 深度学习相关理论
        2.1.1 卷积神经网络
        2.1.2 激活函数
        2.1.3 池化层
        2.1.4 全连接层
    2.2 手部分割方法
        2.2.1 基于肤色的手部分割方法
        2.2.2 基于深度信息的手部分割方法
        2.2.3 基于深度学习的手部分割方法
    2.3 手势估计方法
        2.3.1 手部模型
        2.3.2 基于生成模型的手势估计方法
        2.3.3 基于判别模型的手势估计方法
    2.4 本章小结
第3章 基于融合结构FCRN网络的手部分割算法
    3.1 基于NIN模型的皮肤检测算法
        3.1.1 NIN网络模型
        3.1.2 皮肤图像分块
        3.1.3 基于NIN模型的皮肤检测算法
    3.2 融合皮肤检测的FCRN手部分割算法
        3.2.1 VGG网络模型
        3.2.2 全卷积网络FCN
        3.2.3 全卷积残差网络FCRN
        3.2.4 Atrous空间金字塔池
        3.2.5 手部分割深度融合结构
    3.3 本章小结
第4章 基于CVAE-CGAN模型的手势估计方法
    4.1 基于VAE模型手势估计方法
        4.1.1 变分自动编码器(VAE)
        4.1.2 VAE网络结构训练
        4.1.3 基于VAE模型的跨模态手势估计方法
    4.2 单模态CVAE网络结构
        4.2.1 CVAE生成模型
        4.2.2 RGB模态的CVAE网络结构
        4.2.3 3D手势模态CVAE网络结构
    4.3 跨模态CGAN网络结构
        4.3.1 CGAN生成模型
        4.3.2 跨模态隐藏空间CGAN网络结构
    4.4 基于CVAE-CGAN的跨模态手势估计方法
        4.4.1 CVAE-CGAN网络模型
        4.4.2 CVAE-CGAN手势估计训练及其优化
    4.5 本章小结
第5章 实验结果与分析
    5.1 实验环境
        5.1.1 实验硬件环境
        5.1.2 实验软件环境
    5.2 手势数据集
        5.2.1 RHD数据集
    5.3 实验评价标准
        5.3.1 F-score
        5.3.2 关节平均误差
    5.4 实验结果及分析
        5.4.1 基于融合结构FCRN网络手部分割算法实验结果
        5.4.2 基于CVAE-CGAN模型的手势估计方法实验结果
    5.5 本章小结
第6章 总结与展望
    6.1 总结
    6.2 进一步工作方向
致谢
参考文献



本文编号：3811216