基于复杂场景下的手部姿态研究
发布时间：2021-01-03 03:18
手势是人机交互中的一个非常重要的手段。由于近些年来人工智能、增强现实和虚拟现实技术的迅猛发展以及深度相机的普及,实时并且准确的手势姿态估计成为了人工智能研究领域的一大热点研究问题,它可以在我们的日常生活中发挥重要的作用,计算机视觉为手势姿态估计领域的研究与发展提供了一种全新的更好的思路,3D手势姿态估计也是计算机视觉中的一个非常有挑战性的任务。最近几年,卷积神经网络在计算机视觉领域中获得了非常广泛的应用并且取得了巨大成功,同时在当前互联网高速发展的推动下,各种新的大型公共标准数据集不断出现,极大的推动了卷积神经网络在手部姿态估计领域的发展。针对目前手部姿态估计领域存在目标场景复杂、人手自由度高等问题,本文设计了一个基于注意力机制的卷积神经网络结构的3D手势姿态估计回归模型,主要研究工作如下:为了解决复杂场景下的背景对手势姿态估计产生影响这个问题,本文根据深度值信息把包含人手部分的深度图像从场景比较复杂的深度图像中精确分割出来;为了避免目标和相机平面之间的距离不一致而影响手部姿态估计精确度,对深度图像做归一化处理。同时为了定位出感兴趣的区域,设计了一个基于注意力机制的卷积神经网络结构来解...
【文章来源】：南昌大学江西省 211工程院校
【文章页数】：56 页
【学位级别】：硕士
【部分图文】：
图１．１?２６个自由度的人手模型??
，并且使用了??一个微调网络来独立地对预测出的每个关节点的位置进行修正。ＯｂｅｒｗｅｇｅｒＭ??等人在之前的基础上，使用了一些简单的改进，增加了一个ＲｅｓＮｅｔ?（Ｒｅｓｉｄｕａｌ??Ｎｅｔｗｏｒｋ）网络，并且使用了平面内旋转、平移和缩放的数据增强手段以及更好??的初始手部定位方法，在三个主要的手部姿态估计标准数据集：ＭＳＲＡ数据集［１１］、??ＮＹＵ数据集［ｌｉ＾ＰＩＣＶＬ数据集［１７］上实现了比当时更复杂的最新方法更好或更相??近的手势姿态估计性能，同时还保持了原始方法的简单性。图１．２为三个流行??数据集的不同关节数量手模型的可视化图。??１?Ｉ?ｆ?＼?Ｉ?ｆ?ｉｆｆ??．?＼?Ｖ?Ｉ?／?＼?＼〇／??（ａ）?１４?ｊｏｉｎｔｓ?（ｂ）?１６?ｊｏｉｎｔｓ?（ｃ）?２１?ｊｏｉｎｔｓ??图１．２不同关节点数量手模型可视化图??Ｇｅ［２３］等人提出了一种新的３Ｄ手势姿态回归方法，使用多视角卷积神经网??络能够更好地利用深度信息来恢复手部关节点的３Ｄ信息，先把深度图像投影??到３个不同的正交平面上，然后把深度图像分别输入到三个独立的卷积神经网??络中进行特征提取并生成一系列的关节点热力图，最后把三个平面的热力图融??合起来得到最后的关节点３Ｄ位置估计。Ｃｈｅｎｆ％等人提出了一种基于姿态引导??的结构化区域网络来提升手部姿态估计的性能，根据手的拓扑结构融合不同关??节点的特征，把属于同一手指的关节的特征集成在同一层网络中，并且来自所??有手指的特征被融合在最下层网络中以预测最终的手部姿态。Ｍ〇〇ｎ『２５］等人将从??单幅深度图像中估计手部姿态问题转变成为体素到体素的预测问题，与之前的??直接从２Ｄ深度图像回归３
?第２章手势姿态估计基础知识???Ｘｉ?「ｃｏｓｏ）?０?－?ｓｍｃｘ）］?ｘ?ｘ??ｙ?＝?０?１?０?ｙ?＝?Ｒ３?ｙ?（２．４）??？ｚ」?Ｌｓｉｎｏ）?０?ｃｏｓｏ）?ｚ＇?２??因此综合上面几个公式可以得到旋转矩阵１＾?＝?／＾?＊／？２?＊尺３。??个ｙ??ｙ’＼?…＇??＼?ｐ?（．Ｖ?，ｖ?，ｚ）??１Ｃ一??ｘ??图２．１坐标绕Ｚ轴旋转示意图??当世界坐标系到相机坐标系进行如图２．２所示变换时，再考虑到平移矩阵Ｔ，??于是便可以计算出点Ｐ在相机坐标系中的坐标计算公式为公式２．５。??＼ｘｃ］?ｒ＾ｗｉ??Ｙｃ?＝ＲＹＷ?＋Ｔ??．Ｚｃ＿?，ＺＷ．??（２．５??）??写成矩阵形式为公式２．６。??＿?ｖ?ｒ?ｖ?＿??＾?ｃ?＾?ｗ??６?＝［尺?１?Ｌ??ｚｃ?Ｌ〇?ｌＪ?Ｚｗ??．１?Ｊ?１?．??（２．６??）??公式２．６中Ｒ是一个３＊３的矩阵，Ｔ是一个３＊１的矩阵，零向量为（０，?０，?０）。??１２??
【参考文献】：
期刊论文
[1]基于中粒度模型的视频人体姿态估计[J]. 史青宣,邸慧军,陆耀,田学东. 自动化学报. 2018(04)
[2]复杂背景下基于空间分布特征的手势识别算法[J]. 杨波,宋晓娜,冯志全,郝晓艳. 计算机辅助设计与图形学学报. 2010(10)
[3]基于数据手套的逼真虚拟手的实现[J]. 任程,戴树岭. 系统仿真学报. 2008(22)
[4]基于数据手套的虚拟手势交互系统[J]. 周晓晶,赵正旭,楼江. 仪表技术与传感器. 2007(10)
本文编号：2954208
【文章来源】：南昌大学江西省 211工程院校
【文章页数】：56 页
【学位级别】：硕士
【部分图文】：
图１．１?２６个自由度的人手模型??
，并且使用了??一个微调网络来独立地对预测出的每个关节点的位置进行修正。ＯｂｅｒｗｅｇｅｒＭ??等人在之前的基础上，使用了一些简单的改进，增加了一个ＲｅｓＮｅｔ?（Ｒｅｓｉｄｕａｌ??Ｎｅｔｗｏｒｋ）网络，并且使用了平面内旋转、平移和缩放的数据增强手段以及更好??的初始手部定位方法，在三个主要的手部姿态估计标准数据集：ＭＳＲＡ数据集［１１］、??ＮＹＵ数据集［ｌｉ＾ＰＩＣＶＬ数据集［１７］上实现了比当时更复杂的最新方法更好或更相??近的手势姿态估计性能，同时还保持了原始方法的简单性。图１．２为三个流行??数据集的不同关节数量手模型的可视化图。??１?Ｉ?ｆ?＼?Ｉ?ｆ?ｉｆｆ??．?＼?Ｖ?Ｉ?／?＼?＼〇／??（ａ）?１４?ｊｏｉｎｔｓ?（ｂ）?１６?ｊｏｉｎｔｓ?（ｃ）?２１?ｊｏｉｎｔｓ??图１．２不同关节点数量手模型可视化图??Ｇｅ［２３］等人提出了一种新的３Ｄ手势姿态回归方法，使用多视角卷积神经网??络能够更好地利用深度信息来恢复手部关节点的３Ｄ信息，先把深度图像投影??到３个不同的正交平面上，然后把深度图像分别输入到三个独立的卷积神经网??络中进行特征提取并生成一系列的关节点热力图，最后把三个平面的热力图融??合起来得到最后的关节点３Ｄ位置估计。Ｃｈｅｎｆ％等人提出了一种基于姿态引导??的结构化区域网络来提升手部姿态估计的性能，根据手的拓扑结构融合不同关??节点的特征，把属于同一手指的关节的特征集成在同一层网络中，并且来自所??有手指的特征被融合在最下层网络中以预测最终的手部姿态。Ｍ〇〇ｎ『２５］等人将从??单幅深度图像中估计手部姿态问题转变成为体素到体素的预测问题，与之前的??直接从２Ｄ深度图像回归３
?第２章手势姿态估计基础知识???Ｘｉ?「ｃｏｓｏ）?０?－?ｓｍｃｘ）］?ｘ?ｘ??ｙ?＝?０?１?０?ｙ?＝?Ｒ３?ｙ?（２．４）??？ｚ」?Ｌｓｉｎｏ）?０?ｃｏｓｏ）?ｚ＇?２??因此综合上面几个公式可以得到旋转矩阵１＾?＝?／＾?＊／？２?＊尺３。??个ｙ??ｙ’＼?…＇??＼?ｐ?（．Ｖ?，ｖ?，ｚ）??１Ｃ一??ｘ??图２．１坐标绕Ｚ轴旋转示意图??当世界坐标系到相机坐标系进行如图２．２所示变换时，再考虑到平移矩阵Ｔ，??于是便可以计算出点Ｐ在相机坐标系中的坐标计算公式为公式２．５。??＼ｘｃ］?ｒ＾ｗｉ??Ｙｃ?＝ＲＹＷ?＋Ｔ??．Ｚｃ＿?，ＺＷ．??（２．５??）??写成矩阵形式为公式２．６。??＿?ｖ?ｒ?ｖ?＿??＾?ｃ?＾?ｗ??６?＝［尺?１?Ｌ??ｚｃ?Ｌ〇?ｌＪ?Ｚｗ??．１?Ｊ?１?．??（２．６??）??公式２．６中Ｒ是一个３＊３的矩阵，Ｔ是一个３＊１的矩阵，零向量为（０，?０，?０）。??１２??
【参考文献】：
期刊论文
[1]基于中粒度模型的视频人体姿态估计[J]. 史青宣,邸慧军,陆耀,田学东. 自动化学报. 2018(04)
[2]复杂背景下基于空间分布特征的手势识别算法[J]. 杨波,宋晓娜,冯志全,郝晓艳. 计算机辅助设计与图形学学报. 2010(10)
[3]基于数据手套的逼真虚拟手的实现[J]. 任程,戴树岭. 系统仿真学报. 2008(22)
[4]基于数据手套的虚拟手势交互系统[J]. 周晓晶,赵正旭,楼江. 仪表技术与传感器. 2007(10)
本文编号：2954208
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/2954208.html
