基于点云深度卷积网络的三维手势姿态估计方法研究

发布时间：2024-06-03 04:27

　　手势姿态估计作为人机交互中的一个关键技术广泛应用于各个领域,尤其在虚拟现实和增强现实应用中,能够改善用户体验,实现手与虚拟物体的直接交互。近年来,利用深度相机采集到的深度图像作为信息输入,进行三维手势姿态估计的研究不断增长。然而,由于手部结构复杂,手指间具有高度自相似性,且存在严重的自遮挡,三维手势姿态估计仍然存在准确性低和鲁棒性差等问题。本文将深度图像转为点云表示,并构造点云深度卷积网络,直接将点云作为输入,通过这种自然的方式学习点云特征并进行三维手势姿态估计,既可以充分利用深度图像中的三维信息,又避免了数据的过于庞大。首先,通过对PointNet网络及其层次化网络的结构和原理进行相关研究,本文提出一种基于改进PointNet网络的三维手势姿态估计方法。首先采用边界框定位网络预测三维边界框,从而准确裁剪手部区域,然后生成对应的手部点云,模拟手部可见表面,有效地利用深度图像中的三维信息。将手部点云数据输入改进的层次化PointNet网络,准确地进行三维手势姿态估计。层次化的PointNet网络通过层次化的方式进行局部特征提取,因此具有良好的泛化能力。而通过引入跳跃连接,改进的层次化Po...

【文章页数】：77 页

【学位级别】：硕士

【部分图文】：

图5-1实验软件环境

第5章实验结果及分析485.1.2实验软件环境本文实验的数据预处理部分采用MATLAB实现，手势姿态估计的神经网络部分采用Python编程语言，网络基于PyTorch深度学习框架，能够实现强大的GPU加速。详细的软件环境和版本如表5-2所示：表5-2实验软件环境配置环境参数详细信....

本文编号：3988176