面向家庭服务机器人的手势交互技术研究

发布时间：2020-08-15 19:12

【摘要】：随着老龄化社会、公共安全事件以及教育医疗对服务机器人的需求旺盛,服务机器人需求急剧增长,然而服务机器人要想步入家庭生活和服务环境,进而更好地融入人类社会,其应能以自然、符合人的交互习惯的方式与人进行交流。智能人机交互的目标是建立和谐自然的人机交互环境,手势作为基本的生物特征,自然性和直观性好,在人-家庭服务机器人交互中处于非常重要的地位,因此,基于手势的人-家庭服务机器人交互技术是实现智能人-家庭服务机器人交互所不可缺少的一项关键技术。针对人与家庭服务机器人手势交互中存在的问题,本文主要以显著性和深度信息为途径对家庭服务机器人手势交互中的手势检测、手势特征提取和手势识别展开了深入的研究,具体如下:首先,提出了基于RGB-D和显著计算的手势检测方法。该方法融合了颜色多尺度全局区域对比度、纹理多尺度全局区域对比度、对象性度量和肤色概率等高层先验知识构建基于多特征多尺度全局区域对比度的显著计算模型,进而在构建的显著计算模型基础上融入图像的深度信息、3D骨骼和3D点云信息进行手势检测,较好地降低了复杂家庭环境中存在的遮挡、光照变化、光照不均及阴影等对手势检测的不利影响,为复杂背景下进行手势检测提供了一种新的思路。其次,设计了基于融合特征的多尺度显著性驱动双边滤波的手势特征构造方法。该方法设计了显著性驱动的双边滤波用于更好地保存手势和平滑手势区域中的噪音,进一步提出了基于层次的融合混合概率典型相关分析(M-PCCA)和最大间隔维数约简(MDDR)的多特征融合方法,最后,在构建的显著性驱动双边滤波和多特征融合方法的基础上构建多尺度特征并对该特征的有效性进行了验证,构建的特征一定程度上减少了手势区域中背景、光照以及噪音对后续手势识别的影响,为后续识别奠定了重要的手势特征基础。再次,针对基于稀疏表示的手势识别存在的问题及显著性可有效描述手势的特点,本文提出了基于显著性和直方图交叉核的稀疏表示静态手势识别方法。由于显著性具有去除复杂背景、均匀凸显对象和可有效描述手势的特点,提出采用显著性作为手势的特征。为了改善稀疏表示字典的质量,本文提出了基于学习的手势字典构建方法,较好地改善了稀疏表示分类的性能。考虑到数据的非线性特点,针对在原始训练特征空间直接进行稀疏表示可能产生不好的分类结果的问题,提出采用直方图交叉核用于稀疏表示进而进行手势的识别。最后,对提出的方法的有效性进行了验证。然后,提出了基于RGB-D和运动上下文特征的动态手势识别方法。采用前面提出的基于RGB-D和显著计算的手势检测方法对动态手势进行检测。考虑到动态手势序列相邻帧之间存在动态性和连续性,本文设计了融入运动上下文的特征用于描述动态手势。其次,针对现有HMM的性能依赖于模型的初始参数,提出了新的模型状态数以及状态输出概率密度函数的初始参数的确定方法,最后,对提出的方法进行了有效性验证。最后,在前面理论研究的基础上,针对一个具体的人与家庭服务机器人交互系统进行了方案设计,定义了手势交互系统的手势指令集,设计了交互系统的软件主流程,给出了IN-RT开发系统的开发示例。
【学位授予单位】：燕山大学
【学位级别】：博士
【学位授予年份】：2015
【分类号】：TP242;TP391.41
【图文】：

手势,样本图,检测结果,阴影

照×10次运动序列×2个手势者）。本文从上述9均匀光照现象取出 25553 张手势静态图像，进该实验中除了融入了多特征多尺度全局区域对比知识先验检测手，手的检测结果见图 2-6。图 2结果。，图中第 1 列和第 3 列是原始手势图像，第 2 列的原始手势图像抽取到的显著性图。从原始手势大，光照来自于不同的方向且产生了相应的阴影而，抽取到的显著性图非常好，其将背景和前景第1列的图像中存在阴影，其对应的抽取到的显此其不受阴影的影响；又如：第 5 行第 1 列和的显著性图，观察可知，其光照来自不同方向且的显著性图不受任何影响，因此该方法不受光照

代码,均匀地,代码产生,背景

第 2 章基于多特征多尺度全局区域对比度的静态手势检测者提供的代码产生手的显著性图，其中 LR 方法的代码是 Matlab 代码，RC、H FT 的代码是 C++代码。图 2-7 给出了提出的方法和其它 4 种不同方法的视觉显结果的比较。由图 2-7 可知：LR 方法得到的显著性图不能有效均匀地凸显出手；基于 HC 法虽能较好地凸显出手，但不能有效地抑制阴影部分的背景；对于基于 FT 的，第 1 张图像和第 4 张图像检测到的显著性图中的对象部分不明显，而对于第 2图像，其对象部分凸显的相对好点，但阴影部分背景没有得到有效地抑制；基C 的方法也不能很好地凸显出手，同时手轮廓部分相对模糊，对于第 6-10 张图应的显著性图，几乎轮廓都没有检测到。而基于提出的方法的显著性图，其不好地将手均匀地凸显出来，而且也很好地抑制了背景区域部分且轮廓清晰，不图像中阴影与光照的影响，因此提出的方法比其他 4 种方法更优。

示意图,手势,特征构造,尺度

Correlation Analyzers, M-PCCA）和最大间隔维数约简（Maximun Margin DimensionaReduction, MDDR）的多特征融合方法对单尺度图像中的特征进行融合。最后将多个尺度的特征进行融合形成多尺度手势特征并对该特征的有效性进行了验证。3.2 基于多尺度显著性驱动双边滤波的手势特征构造目前手势特征提取是建立在手势检测与分割的基础上直接对检测到手势区域提取特征，然而手势区域中往往会存在背景、光照变化、光照不均以及噪音等信息，一定程度上会影响后续的手势特征提取。针对该问题，本节提出使用双边滤波保存对象的边缘并去除噪音等信息。进一步地，考虑到双边滤波不能去除背景中少量边缘，且显著性具有凸显对象、抑制背景的作用，提出将显著性融入双边滤波以更好地保存手势和平滑手势区域中的噪音。最后，为了提高后续手势识别的性能，进一步融入不同尺度图像用于手势特征的提取并进而融入不同尺度的特征作为手势的特征。其具体的特征构造示意图如图 3-1。

【相似文献】