基于手势SEMG信号控制的虚拟人机交互系统

发布时间：2020-08-02 21:04

【摘要】： 随着计算机技术的进步和应用面的拓宽,通过键盘、鼠标向计算机输入信息的交互方式已成为人机通信的瓶颈,虚拟现实技术的诞生和发展,使这种限制变得更加明显。以人为中心、自然、高效的多通道交互是新一代人机交互的主要目标。近年来,通过识别人类的不同行为,并将识别结果转换为机器命令的交互方式成为国内外研究的热点[1][2]。作为人类日常生活中最自然的交互方式之一的手势,在此领域具有重要的研究价值。本文基于不同手势动作产生的SEMG信号的特征差异,通过对手势动作SEMG信号的检测、处理和识别,将识别结果作为虚拟环境中虚拟物体运动的控制信息,实现了人与虚拟环境的实时交互,为新一代人机交互方式的发展作出贡献。本文的主要研究内容和研究成果如下: 1.虚拟环境的设计和实现。完成虚拟草地、虚拟天空和虚拟飞机的制作,并实现虚拟飞机3个可控自由度的动画制作,以及对三维动画进行仿真测试,测试结果显示该交互动画生动形象。 2.手势动作SEMG信号的分类识别,包括离散手势识别和连续手势识别。在离散手势信号识别方面,采用20Hz~300Hz的带通滤波器抑制噪声;利用移动平均值方法进行活动段检测;并采用绝对值积分(IAV)和4阶AR模型方法提取特征;最后采用线性分类器对信号特征空间进行划分,且在此基础上对信号进行分类。连续手势SEMG信号识别,则先按照一定时间长度对信号进行时域分帧,然后运用离散手势动作识别的方法,对每个时间帧进行分类识别。 3.虚拟人机交互平台的构建。基于MFC和OpenGL软件开发环境,实现虚拟人机交互平台。该平台分别实现基于离散手势的人机交互和基于连续手势的人机交互两种控制方式,平台主要功能包括:多通道手势动作SEMG信号的采集、识别以及对虚拟飞机的控制等。针对该交互平台系统,本文并且设计单用户和多用户控制方案对其进行测试和结果分析,结果分析证明该系统交互效果十分优异。
【学位授予单位】：中国科学技术大学
【学位级别】：硕士
【学位授予年份】：2009
【分类号】：TP334.3
【图文】：

模型图,人机交互系统,模型,计算机

1.1 人机交互技术及其发展.1.1 人机交互的概念自从 1946 年世界上第一台计算机 ENIAC 诞生以来，计算机技术已取得了的发展。现代计算机已经应用在社会生活的各个领域，并且其已代替人类做复杂性工作。但现阶段计算机仍然是一种工具，受到人的支配、控制、操纵理。计算机所完成的任务中，大量是人与计算机配合完成的。在这种情况与计算机需要相互间的通信，即需要人和计算机相互之间的交互。人机交互(Human-Computer Interaction, HCI)是指人和计算机之间进行信、会话过程，是一个可观察的双向信息交换过程[3]，即人和计算机既向输出信息，又从对方接收信息。因此我们可以十分形象地用人、机和环境三描绘出人机交互系统。人系统模型如图 1.1 所示[4]。

原理图,原理图,肌纤维,终板电位

细胞体处在其中，其轴突伸展到肌纤维处，经终板区与肌纤维耦合。与元联系着的肌纤维不只一条。这些部分合在一起，构成所谓运动单元动是受意识控制的，当大脑发出兴奋并向下传导后，中枢神经系统的运的胞体和树突在来自突触的刺激下，产生电脉冲，即为动作电位。此电经元的轴突传导到末梢的神经与肌肉的接点，当运动神经接触到肌肉突分枝到许多肌纤维上，每一分支终止在肌纤维上形成突触叫做运动终导到轴突末梢的动作电位使神经与肌肉的接点释放化学物质乙酸胆碱则使运动终板的离子通透性发生变化产生终板电位，此终板电位又使肌到去极化阈值电位，产生肌纤维的动作电位，并沿着肌纤维向两方传播维内的一系列变化，便产生了肌纤维的收缩，大量肌纤维收缩产生肌肉可见电信号(肌纤维的动作电位)的传播导致了肌肉收缩，同时传输中的人体软组织中引起电流场，并在检测电极间表现出电位差，即肌电信号

模式识别系统,原理框图

第二章人机交互系统的总体设计2.1 手势动作 SEMG 模式识别方法模式识别(Pattern Recognition)是根据研究对象的特征或属性，利用以计算机为中心的机器系统运用一定的分析算法认定它的类别，系统应使分类识别的结果尽可能地符合真实[26]。一个功能较完善的识别系统在进行模式识别之前，首先需要学习。模式识别系统及识别过程的原理框图可以用图 2.1 表示。虚线的上部是识别过程，虚线是下部是学习、训练的过程。

【引证文献】