基于面部动作肌电信号的人机交互研究

发布时间：2020-05-16 07:32

【摘要】：近年来,通过解码人体生物电信号进而赋予机器理解人类意图的能力,已成为人机交互领域研究的热点方向。而其中肌电信号具有信噪比高、易采集、模式丰富等特点使得基于其的人机交互受到广泛关注,并己在基于手势、口型识别等人机交互中得到应用。本文研究基于面部动作肌电信号的人机交互技术。由于不同面部动作(如皱眉、眨眼、咬牙等)需要相应的肌肉群不同程度参与,从而导致面部动作肌电信号在位置、幅度、频率等方面存在差异。因此,选择合适的面部动作,并利用信号处理和机器学习技术准确检测和识别其产生的肌电模式就可以实现对不同动作的精准编码,从而作为对外交互的指令进行输出,实现不需要双手和语音的人机交互。本文侧重于对具有共性肌电模式的多种面部动作进行准确、实时的识别算法研究。主要工作有:1)基于前额单通道的面部动作肌电模式识别算法研究。通过实验分析选择6种具有跨被试、跨试次共性肌电模式的面部动作。提出短时能量信号分割方法,提取多种时域特征并结合随机森林分类的识别算法。对10名被试的6种面部动作肌电模式进行识别,达到92.05%的平均正确率。该方法在跨被试迁移学习数据增强情况下能进一步提高识别准确率(94.17%);在不需要自身训练数据而完全采用他人数据进行训练的情况下达到了 84.25%的平均识别准确度。2)基于头部多通道的面部动作肌电模式识别算法研究。提出了一种融合通道内时域特征、通道间时域特征及相关性特征的实时特征提取方法并结合随机森林分类算法的面部动作识别算法,对5名被试多达16种面部动作进行了识别,达到96.8%的平均识别正确率。通过对5种眼部动作和6种嘴部动作的指令组合理论上可将交互指令扩展至60种,但需要较大训练成本。本文中,3位用户通过训练测试了 30种指令组合,达到了 83.9%的平均准确率。另外为了去除或减少头部运动干扰导致的误触发和识别错误,引入了陀螺仪传感器跟踪头部运动姿态并反馈到识别算法中,增加了系统的鲁棒性。3)基于单通道和多通道面部动作肌电模式识别技术的实时人机交互测试系统开发。开发了可以应用到不同场景的实时面部动作人机交互测试系统,包括对车辆驾驶时的手机控制、机械臂运动控制、多旋翼无人机飞行控制以及打字系统。测试结果证明了系统的有效性和实用性。
【图文】：

面部肌肉,皱眉肌,蓝色,颧骨

面部肌电信号（ｆｆｉＭＧ）是通过检测和放大面部肌肉纤维收缩时产生的电脉逡逑冲得到的。ｆＥＭＧ主要集中在面部两个主要肌肉群，与皱眉相关的皱眉肌肉群以逡逑及与微笑相关的颧骨肌肉群［２Ｑ，，２１１，如下图１．１所示。眨眼、挑眉、咬牙等面部动逡逑作都需要相应的肌肉群参与从而导致面部肌电信号发生明显变化，而不同面部动逡逑作产生的肌电信号模式变化在位置、幅度、频率等方面都会存在差异。选择合适逡逑的面部动作，准确检测和识别这些差异就能实现对不同动作的精准判断，从而作逡逑为对外交互的指令进行输出，实现不需双手和语音的人机交互。ＮａｋａｙａｍａｔＵ等逡逑人提出了一种基于微笑动作的实时超声交互系统。当用户微笑时，播放声音。他逡逑们对面部动作产生的面部肌电信号进行了研宄，设计了算法能够识别微笑产生的逡逑肌电信号，并将该信号作为控制指令来控制超声系统发出音乐。逡逑３逡逑

生物电信号,采集设备,前额

图２．２基于Ｍｉｎｄｗａｖｅ的信号采集软件逡逑单通道相比，多通道的使用可以使我们获取更为丰富的面部动作信息，更为复杂的人机交互任务。我们选择Ｅｍｏｔｉｖ邋Ｅｐｏｃ作为多通道面部动作的采集设备，如下图２．３邋（ａ）所示。选择它的理由是其通道丰富、信号用方便并便于携带。它可以采集头部的生物电信号（包括脑电信号，肌），并且带有陀螺仪可以检测头部运动姿态。ＥｍｏｔｉｖＥｐｏｃ共有１６个电有１４个采集电极，其余的是参考电极和接地电极），电极是湿电极，将电极滴上生理盐水。电极放置采用国际标准１０－２０系统放置标准，如２．３邋（ｂ）所示。每个采集电极的位置及名称如表２．１所示。其中，ＡＦ３同一脑区（前额叶）对称位置的一对通道名，其它左右对称的通道对也是的。ＥｍｏｔｉｖＥｐｏｃ通过蓝牙方式来传输数据到其他终端，采样率达。逡逑９逡逑
【学位授予单位】：杭州电子科技大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TN911.7;TP11

【参考文献】