图像与视频中的手形分割

发布时间：2021-08-05 15:25

　　随着智能终端和视觉计算技术的快速发展,基于视觉的人机交互,尤其是以人手为媒介的交互,正被越来越多地应用于人们的日常生活中。在诸如手势识别、手的姿态估计、手和物体的交互分析等以人手为媒介的交互应用中,手形的准确分割常是重要基础。尽管手形分割有着长达数十年的研究历史,但在自然场景下的实际应用中,其在分割精度或运行效率上的表现依然不尽如人意。本文围绕如何高效地从图像和视频中获取高精度的手形分割这一主题展开,提出了三种手形分割算法。首先,本文提出了一种面向深度图的高精度手形分割算法,其主要由手形分割备选项生成和手形分割备选项评估两个模块组成。给定一帧深度图,基于深度信息可很容易地从深度图中分离出手形大致区域。然而想要从中进一步提取出精准的手形并非易事,面临着诸多挑战。观察到手形大致区域常是带状物体,本文提出一个基于受限德洛内三角剖分的手形分割备选项生成方法,沿着手臂朝向密集地生成分割备选项。然后,该算法使用类R-CNN与类Fast R-CNN的网络框架来评估每个备选项与真实分割的匹配程度,并挑选匹配程度最高的备选项作为分割结果。在两个较大的深度图数据集上的实验结果表明本文算法较之前的算法取得了... 

【文章来源】：中国科学技术大学安徽省 211工程院校 985工程院校

【文章页数】：109 页

【学位级别】：博士

【部分图文】：

图１．１基于视觉以人手为媒介的人机交互场景示例丨１＞４］??随着近年来智能终端和视觉计算技术的快速发展，基于视觉的人机交互正??

手形分割作为重要的前端被广泛地应用于基于视觉的手势识别中［１７－２１］。??手势识别一般分为静态手势识别和动态手势识别两类［２２］，静态手势由手在静??态下的姿态确定（如图１．２（ａ）），动态手势常由手的姿态和其在时序上的运动轨??迹来确定（如图１．２（ｂ））。基于视觉的静态手势识别常以单帧图像为输入，一般??由手形分割、特征提取、分类识别三个模块组成。比如文献［２０１以单帧彩图为??输入，结合肤色检测（Ｓｋｉｎ－ｃｏｌｏｒ?Ｄｅｔｅｃｔｉｏｎ）和高斯混合模型（Ｇａｕｓｓｉａｎ?Ｍｉｘｔｕｒｅ??Ｍｏｄｅｌ，?ＧＭＭ）来做手形分割，随后提取多种特征并做融合，基于融合的特征使??用支持向量机（Ｓｕｐｐｏｒｔ?Ｖｅｃｔｏｒ?Ｍａｃｈｉｎｅ，?ＳＶＭ）来识别二十六种静态手语。文献??［１８］以同步的深度图和彩图为输入，首先基于深度阈值在深度图上提取手形大??致区域并依据手腕处的彩带在彩图上做更精细的手形分割，然后基于Ｔｉｍｅ－ｓｅｒｉｅｓ??Ｃｕｒｖｅｓ?［２３］对分割出的手形的轮廓进行特征描述，最后使用模板匹配（Ｔｅｍｐｌａｔｅ??Ｍａｔｃｈｉｎｇ）和?ＦＥＭＤ?（Ｆｉｎｇｅｒ－Ｅａｒｔｈ?Ｍｏｖｅｒ’ｓ?Ｄｉｓｔａｎｃｅ）?［２４］来识别十四种静态手??势。在静态手势识别中

手形分割作为重要的前端被广泛地应用于手的姿态估计中［７，３４－３６］。手的??姿态估计是使用预先定义的组件（比如手指、手掌、关节点等）对手进行建模并??找到这些组件在图像上的位置（二维估计，如图１．３（ａ））或者在三维空间中的位置??（三维估计，如图１．３（ｂ））以对手进行仿真的技术［３７］。目前对手建模最常用的组??件是关节点，姿态估计就等价于对手的关节点位置进行预测［３４，?３８］。手的三维??姿态估计算法，一般由手形分割、手上关节点在二维图像上的位置预测、基于关??节点在二维图像的位置信息来回归关节点在手的模型上的三维位置这么三步组??成。比如文献［３４］以单帧深度图为输入，基于深度对比特征［３９］使用随机森林??（Ｒａｎｄｏｍ?Ｆｏｒｅｓｔ，?ＲＤＦ）在图像上逐点做二分类（手与非手）来分割出手形，然后??通过卷积祌经网络提取特征并预测手上各关节点在深度图上的位置，最后通过拟??合手的模型上各关节点在深度图上的投影与其对应预测位置来获得手的三维姿??态估计。文献［７］以荦．巾贞彩图为输入，使用全卷积神经网络（Ｆｕｌｌｙ?Ｃｏｎｖｏｌｕｔｉｏｎａｌ??Ｎｅｔｗｏｒｋ


本文编号：3323997