基于可穿戴控制器的手势识别技术研究

第 1 章 绪论

1.1 课题背景

人机交互 HCI（Human-Computer Interaction）是指用户与计算机之间通过某种特定的交流方式实现信息交互的过程，人机交互逐渐由需要用户适应智能设备到智能设备适应用户的需求进行过度，人们也一直在追求一种可以自由、直接地操控设备的人机交互方式[1, 2]。目前，我们所熟知的人机交互方式主要有计算机鼠标和键盘输入、触摸屏输入、语音识别、人脸识别及手势识别等。其中，计算机鼠标和键盘输入的交互方式因其操作简单、准确率高等优势已经得到了广泛的应用，但同时具有输入效率低、使用距离短、操作随意性差等缺陷，所以更加便捷、准确的人机交互方式一直人们在不断去寻求的目标。触摸屏输入在智能手机和平板电脑中应用较多，用户仅需要通过触摸屏幕的有效触控范围就可以实现简单的交互输入，例如文字输入、选中、拖动等功能，然而，使用者的触控输入操作必需要求在触摸屏上进行，这种接触式的操作方式仍然不能解放用户的双手，使触控输入交互方式的应用范围受到了局限性。

...............

1.2 可穿戴设备研究意义

随着物联网和移动互联网的发展，可穿戴技术发展迅速，可穿戴设备也在逐渐从大型化到小型化过度，在医学康复领域最早研制的穿戴式健康交互系统，通过内置脉搏血氧仪监测使用者脉搏、血压等生理参数，和利用传感器传回的步态和手势数据判断老年人是否跌倒等情况。近几年，可穿戴设备在运动监测、休闲娱乐等领域应用广泛，主要以轻质、小型的智能手环、服饰等电子设备为主，通过与智能手机的信息交互达到直观地监测用户的心跳、运动步数、卡路里消耗等健康指标的目的[9, 10]。随着谷歌公司推出“Google Glass”，可穿戴设备越来越受到全球研发爱好者更高的关注，实物图如图 1-1 所示。谷歌眼镜由小型 GPS 定位系统、摄像仪器和惯性传感器等装置组成，在联网的情况下通过与手机相连能够实现地图搜索、拍摄照片以及发布消息等功能，且完美结合了谷歌公司其他软件的功能，提升了用户的虚拟现实体验度。

...............

第 2 章 系统整体方案设计

2.1 系统总体方案设计

经过对国内外手势识别算法研究现状的分析可知，动态时间规整方法和隐性马尔可夫模型方法都需要建立手势模板，然而对于选择部分用户进行手势操作提取手势模板来说，这些用户由于个人操作手势的力度和速度不同，使可穿戴控制器输出的手势数据会相差较大，所以基于这些数据提取的手势模板存在个体差异性的弊端，降低了手势识别算法的准确率，而且由于提前测试的用户数量有限，造成手势模板范围较小，将影响算法的适应性，同时这两种方法在模板匹配过程中增加了计算量，无法确保算法的简单性和实时性。对于手势运动轨迹重建方法，需要对手势数据进行积分计算才能获取控制器的运动轨迹，然而积分过程不仅增加了算法的计算量还会因为随着时间增益引起识别误差。手势特征量提取相比于上述方法无需建立和匹配模板。虽然在手势特征量提取之前需要对大部分用户的手势数据进行分析，但对于同一手势加速度数据、角速度数据之间变化特征几乎相同，所以只要在分类器中正确应用特征量和确定其阈值就能避免个体差异性，该算法简单、计算量小，具有良好的实时性和准确率。

...............

2.2 定义手势类别

手势类别具有动作多样性的特点，不同手势动作能够表达不同的含义，可穿戴设备使用者可以通过操作不同种类手势与计算机进行信息交流，计算机对手势的识别是一个分类过程，首先根据手势类别的运动情况不同，手势可被分为静态手势和动态手势两个类别，，静态手势是指用户的某种静止的手部姿势，对其识别主要是采集手势的静态图像；而动态手势是指用户在一定时间内手部姿势发生的动态变化，对其识别则是采集对应手势的一条动态运动的轨迹或是运动过程中的手势数据。因为本设计中手势识别算法主要是依据提取手势运动特征量进行手势分类，所以本文针对动态手势进行识别研究，利用 MEMS 惯性传感器采集手势操作控制器的加速度数据和角速度数据，将采集的运动手势数据利用手势识别算法实现手势分类。

...............

第 3 章 可穿戴控制器系统的硬件设计...............17

3.1 可穿戴控制器系统硬件结构...............17

3.2 主控模块................18

第 4 章 手势识别算法设计...............23

4.1 手势数据预处理................23

4.2 坐标系转换................25

第 5 章 系统检测及结果分析...............36

5.1 测试平台软件介绍................36

5.2 软件程序设计...............37

第 5 章 系统检测及结果分析

5.1 测试平台软件介绍

测试平台由可穿戴控制器的硬件设备和 Processing 上位机软件编程环境组成，如图 5-1 所示，在本文第三章中已经详细介绍了硬件设备的具体使用模块，其中，控制器中 ATmega328 主控芯片通过在 Arduino 中编写程序读取MPU6050 传感器采集的三轴加速度及三轴角速度数据，然后通过通讯模块上传手势数据到 Processing 软件进行算法识别，最后通过三维图像显示手势识别结果。Processing 上位机软件开发环境由用来写代码的简单文本编辑器、文本控制台、常用指令按钮的工具栏和当程序运行时弹出的一个新的显示窗口等组成。在文本编辑器里编写的程序被称作草图(sketch)，并保存为扩展名 pde 的文件。

...............

5.2 软件程序设计

当手势动作开始后手势识别算法检测到手势起点，手势长度随着采集到的数据点个数增加而不断增加，当算法检测到手势终点时停止对手势长度的更新。由于用户在操作可穿戴控制器时，不经意的瞬间抖动也有可能使加速度差分值、角速度差分值达到手势起点、终点的要求，为了去除该类误动作，测试动作持续时间最短、输出手势数据个数最少的敲击手势的手势长度至少大于60，所以在程序中，只有满足 LEN>60 时，才会输出手势长度用于接下来的识别算法中。

...............

结论

本文针对目前手势识别技术中人机交互设备体积大、识别算法精度低、系统稳定性差等方面的问题，设计了基于可穿戴控制器的手势识别系统。本设计以集成陀螺仪和加速度计的惯性传感器作为手势数据采集传感器，嵌入式微处理器通过通讯模块将经过滤波处理、坐标系转换后的数据传递给上位机软件，从而构成了手势识别系统。本文还给出了系统的上位机软件中手势分类算法的设计，并说明了测试系统的搭建过程，并对手势识别的显示结果进行了分析和说明。本文取得的主要研究结果如下：1．本文设计了一种可穿戴控制器。通过比较不同芯片的优缺点，姿态模块选择了六轴运动传感器，免除了人为组合加速度计和陀螺仪的麻烦、通讯模块选择 WIFI 通信芯片，达到了提高传输效率的目的，此外所有芯片的选择都基于低功耗、体积小的特点，满足电源模块锂电池的供电条件，设计同一接口满足下载、充电功能，减小硬件电路设计体积，实现了控制器可穿戴于手指的目的。

参考文献（略）