面向人机交互的手势分割与识别方法研究

发布时间：2021-06-02 23:09

　　近年来,人工智能技术蓬勃发展,各种电子产品的智能化程度逐渐提高,因此高效自然的人机交互方式成为的一种必要的需求。手势作为一种世界通用交互方式,人们希望可以将其应用于人机交互。使得在人机协作的过程中,人类可以摆脱鼠标键盘等传统输入设备的限制,更加高效自然的控制人工智能设备。手势识别作为一种新型的人机交互方式,已经取得一定程度上的发展。结合视觉识别,运动信息采集以及肌电信号已经有多种方式实现手势识别。在孤立语手势识别的研究已经相当成熟,但是连续语句特别是军事手语方面的研究还相对不足,而且为进行高效的人机交互连续手语语句的识别必不可少。本文基于惯性传感器以及基于规则匹配的识别算法研究其在连续手语语句识别上的应用。本文的主要研究内容如下:（1）应用多种规则对手臂手势进行建模,并完成单个手势识别。规则组合的识别方法实际上是一种将手势分为基元,再对基元进行识别,再进行组合生成的方法。这种方法可以将有限的基元进行组合成为多种手势,具有很好的拓展性。而在于手势识别过程中的产生的参数以及识别的计算过程也具有良好的解释性。（2）提出了一种基于句法模型的连续手势识别与分割方法。在孤立手势识别的过程中不需要考... 

【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校

【文章页数】：77 页

【学位级别】：硕士

【部分图文】：

军事手语示意图

哈尔滨工业大学工程硕士学位论文-3-检测与特征提龋手势识别对手掌的背景以及光照条件有比较严格的要求，并且被识别对象要时时处于相机的视野范围之中不适合在战场环境下应用。a)基于视觉的手势识别b)手掌目标检测与提取图1-2基于肤色检测的手掌与人脸识别[4]1.2.2基于惯性传感器的手势识别惯性传感器包括加速度计、陀螺仪以及磁力计等组成部件。目前，常用的IMU（惯性测量单元）一般是9轴传感器，3轴加速度计、3轴陀螺仪、3轴磁力计，用于测量物体空间加速度以及角速度等运动数据。IMU在使用过程会受到当地重力以及电磁场的影响会存在数据输出不稳定的问题，通过互补滤波或卡尔曼滤波可以改善这个问题[5][6]。随着电子技术的发展IMU的体积越来越小精度越来越高，如图1-3所示，为Xsens公司生产的贴片式IMU，仅有12.1mm×12.1mm大小，可以焊接在电路板中通过微型单片机完成与上位机的通信，从而完成数据采集与处理。图1-3XsensIMU芯片[7]在IMU应用于人体动作识别的过程中，可以通过多个IMU组合，用于捕捉人

哈尔滨工业大学工程硕士学位论文-3-检测与特征提龋手势识别对手掌的背景以及光照条件有比较严格的要求，并且被识别对象要时时处于相机的视野范围之中不适合在战场环境下应用。a)基于视觉的手势识别b)手掌目标检测与提取图1-2基于肤色检测的手掌与人脸识别[4]1.2.2基于惯性传感器的手势识别惯性传感器包括加速度计、陀螺仪以及磁力计等组成部件。目前，常用的IMU（惯性测量单元）一般是9轴传感器，3轴加速度计、3轴陀螺仪、3轴磁力计，用于测量物体空间加速度以及角速度等运动数据。IMU在使用过程会受到当地重力以及电磁场的影响会存在数据输出不稳定的问题，通过互补滤波或卡尔曼滤波可以改善这个问题[5][6]。随着电子技术的发展IMU的体积越来越小精度越来越高，如图1-3所示，为Xsens公司生产的贴片式IMU，仅有12.1mm×12.1mm大小，可以焊接在电路板中通过微型单片机完成与上位机的通信，从而完成数据采集与处理。图1-3XsensIMU芯片[7]在IMU应用于人体动作识别的过程中，可以通过多个IMU组合，用于捕捉人


本文编号：3210925