基于单目视觉的手势交互多模态特征分析方法

发布时间：2020-07-04 17:39

【摘要】：手势交互是“工业4.0”与“中国制造2050”的关键技术。在智能制造中使用手势交互,可以提高智能制造的生产效率,增加工人的工作舒适度。其中基于单目视觉的手势交互可以配合带有摄像头的普通移动设备,实现无障碍式的任意场景下的自由交互,适用于机器人的手势交互,是目前手势交互的主流。现有交互方法多针对静态手势,或只能处理简单的单模态手势,或在交互中限制性较多而影响手势交互的可用性。因此,提取手势多模态特征,对其连续变化的不同因素进行分析是很有必要的。论文针对移动机器人手势交互中手势时空变化的多样性进行研究,从不同条件下拍摄到的视频序列入手,综合运用计算机视觉、机器学习等理论和方法进行理论分析和实验,并验证所提方法在制造业环境下的可用性。重点对静态手势形状特征提取、动态手势轨迹特征提取、相机移动时动态手势特征提取、相机视角不同时动态手势特征提取、以及空中书写数字字符串的特征提取等几个关键问题展开研究。具体研究工作如下:1.由于人手是复杂的多关节非刚性物体,手掌和手指在运动中不断发生变化,高达27个自由度,要通过视觉技术分析出手势模型的高层操作特征,如指尖指向,指尖位置等,是一项非常困难和复杂的任务。针对以上问题,在简单分割条件下,提出一种图像结构特征点的提取方法;使用提取出的结构特征点建立手势模型并优化求解得到高层特征,可以进行手掌、手指和指尖定位。实验结果表明,该方法指尖点检测率为88.9%,可以在无法获得准确的手势区域边界时使用。2.现有的动态手势识别方法在诸如空中书写之类的交互系统中仍然存在识别效率低的问题。为了提高动态手势轨迹的识别效率,通过将曲率角引入特征提取,提出一种新的基于路径的轨迹特征提取方法。实验结果表明,提取出的特征能够区分形状相同但路径不同的轨迹,提高了轨迹平均识别效率至93.33%。3.移动单目相机可以极大地增加相机的拍摄视野,但是单目相机的移动会造成图像坐标系的全局运动,对手势识别中运动轨迹的观测产生影响。针对上述问题,建立并证明了一种基于单应的目标运动轨迹观测模型。该模型通过分析相机运动中拍摄到的相邻图像关键帧之间的映射关系,利用单应矩阵求解与特征点重投影得到相邻关键帧之间的目标相对运动矢量,最后得到真实的目标运动轨迹。实验结果表明,使用该模型进行移动单目相机环境下的动态手势特征分析,轨迹的平均识别率提高了25%,平均处理速度为1.47秒/视频,可以达到应用要求。4.当相机角度不同时,拍摄的同一运动轨迹会形成不同的轨迹投影,从而影响轨迹的识别与应用。针对这一问题,在平面目标手势平面运动的情况下,提出了基于运动信息的相机位姿自标定模型和与视角无关的手势运动特征提取方法,并将其扩展到基于辅助物的任意手势平面运动情况。(1)在平面目标手势平面运动情况下,基于相机小孔成像模型与特征点运动约束,建立了一种相机位姿自标定模型;然后利用标定出的相机位姿恢复运动轨迹的三维信息;最后通过轨迹重投影,将轨迹图像校正为正投影图像,实现与视角无关的手势运动特征提取。(2)在前面相机位姿自标定模型的基础上,将特征点属于同一平面的约束改为特征点平面运动约束,建立新的相机位姿自标定模型来标定相机位姿,最终将与视角无关的手势运动特征提取扩展到基于辅助物的任意手势平面运动情况。实验结果表明,对轨迹进行视角归一化后,提取出的手势运动轨迹与正面拍摄的运动轨迹相似,平均识别效率提高了22%。5.在手势空中书写的连续书写过程中,会出现语义手势序列与过渡手势序列,如何通过视觉技术,识别书写中的不同状态,进而对连续的手势字符串进行识别?针对这一问题,提出了一种基于用户行为分析的手势字符串特征提取与识别方法。该方法首先从认知理论的角度,建立手势微观行为模型;然后获取手势序列关键帧对手势序列进行划分;最后结合神经网络与最优化模型,找出整体识别率最优的手势字符串做为识别结果。实验结果表明,该方法可以实现由两个数字组成的手势字符串分割与识别,单个数字的查准率为86.5%。
【学位授予单位】：兰州理工大学
【学位级别】：博士
【学位授予年份】：2019
【分类号】：TP391.41;TP242
【图文】：

手势识别,单目视觉

图 1.2 基于单目视觉的手势识别系在“基于视觉的手势交互”领域，已开展诸济南大学冯志全[21]、哈尔滨工业大学的姜、王宏安[22]、浙江大学的吴江琴、西安朋[24]、清华大学的祝远新、徐光yP、太原继玉、王西颖等，都从不同角度对手势交势特征分析势特征提取方面，有基于肤色的特征分析区域的特征分析方法、基于骨架的特征分、以及基于机器学习特征等方法。图片的手势识别其识别过程一般由以下几区域；然后选择合适的手势模型进行手势征提取出来；最后输入提取出的特征，采

组织结构图,组织结构图,论文,手势

基于单目视觉的手势交互多模态特征分析方法通过实验分析算法性能。与视角无关的手势轨迹特征进行分析。首先着介绍平面目标手势在平面上运动时，基于势轨迹特征分析；最后为任意目标手势在平型的与视角无关手势轨迹特征分析。基于用户行为分析的手势数字串特征提取与利用此模型，结合训练好的手势数字分类器与识别；最后通过实验分析其性能。的总结和展望，概括总结了本文所做的主要

【参考文献】