基于肌电和手指关节形变信号融合的手语识别方法研究

发布时间：2022-01-24 10:27

　　手语是一种结构化语言,是残疾人之间交流的主要方式。由于正常人很少学习手语,导致聋哑人与正常人之间存在沟通障碍,给聋哑人的日常生活、学习带来诸多不便。手语识别技术将手语翻译成文本或者语音,能够在聋哑人与正常人之间建立沟通桥梁。手语作为一种语言,涉及的手势动作复杂多样,识别难度大。肌电（electromyography,EMG）能够直接反映肌肉的活动状态,能有效解决手语动作之间的运动插入问题,在手语识别方面具有独特优势。但是肌电信号对于相似动作的识别效果较差,而数据手套直接检测关节形变,能够识别区分度较小的动作。针对以上情况,本文提出利用形变传感器检测关节形变并和肌电信号融合进行手语识别。本文的主要工作概括如下:（1）本文搭建了一个肌电和手指关节形变信号同步采集系统,系统通过商用的无线肌电电极采集肌电信号,通过形变传感器采集手指关节形变信号。测试结果表明本文中使用的形变传感器具有响应速度快、重复性好的特点,能很好地检测关节形变信号。（2）以30个中国手语字母为目标动作集,通过6位受试的实验数据处理过程及结果,详细对比了两种信号对于30个手语字母动作的识别结果及性能,并分析了两种信号各自的优... 

【文章来源】：中国科学院大学(中国科学院深圳先进技术研究院)广东省

【文章页数】：66 页

【学位级别】：硕士

【部分图文】：

安排手语翻译的情形Figure1.1Situationswhensignlanguageinterpretersarearranged

基于肌电和手指关节形变信号融合的手语识别方法研究4数据手套、EnableTalk。Gaoeta1(2004)利用两个数据手套和三个位置追踪器实现了一个大词汇量的连续手语识别系统，在由5113个手势词组成的1500个句子的分类中取得了90.8%的平均识别率。MohamedA.Mohandesetal（2013）利用数据手套采集了100个双手手语动作信号，并使用SVM对采得的信号进行分类，在测试集上达到了99.6%的识别率[40]。吕蕾等(2015)使用可穿戴的数据手套采集交互任务下的原始静态手势动作，运用特征点集模板匹配方法对25种手势动作进行识别并取得了98.9%的识别率[41]。NoorTubaizetal(2015)用DG5-VHand数据手套采集了由80个手语词组成的40个句子的动作信息，并用k近邻算法进行分类，分类准确率达到98.9%[42]。Lieta1(2016)利用一副低成本的数据手套采集现实生活中的真实手语动作信息，且在由510个中国手语词组成的1024个测试句子的识别中取得了87.4%的平均识别率[43]。Bukhari,J.,etal.(2015)用弯曲度传感器、接触传感器和及速度传感器制成了一个低成本数据手套用于识别美国手语，并将其翻译成语音，实验结果证明，该手套对26个手语字母的识别率达到92%[44]。基于数据手套的手势识别方法可以直接感知手势动作的时间和空间信息，能识别的动作数量多，识别准确率高。但是市场上现有的数据手套大多价格高昂，难以推广应用[45]。近年研究者们也在尝试利用价格低廉的材料来制作数据手套[46]，但是目前现有的弯曲度传感器体积较大且刚性强、柔韧性差，虽然价格低，但舒适度差，用户体验差。图1.2研究者们自制的数据手套Figure1.2Self-madedata-glove1.2.3基于肌电的手语识别方法研究现状

第2章肌电和手指关节形变信号采集系统9第2章肌电和手指关节形变信号采集系统2.1信号采集系统概述为了对本文提出的基于肌电和手指关节形变信号融合的手语识别方法进行验证，本文搭建了一个肌电和手指关节形变信号同步采集系统。该系统利用组内研制的新型形变传感器作形变传感器检测手指关节形变，用商用的肌电采集设备采集肌电信号。如图2.1所示，形变信号通过贴附在织物手套上的形变传感器检测。图2.2展示了手套的细节，形变传感器柔软轻薄，将其固定在手套上，使其能够完整地覆盖关节。经检测形变传感器能对手指关节形变做出快速响应，采集到的信号能很好地反映关节形变信息，且与肌电信号具有很好地同步性，满足本文的信号采集需求。图2.1肌电和手指关节形变信号采集平台Figure2.1SynchronousacquisitionplatformforEMGandfingerjointdeformationsignal图2.2用于采集手指关节形变信号的手套Figure2.2Gloveforcollectingdeformationsignal

【参考文献】：
期刊论文
[1]一种基于数据手套的静态手势识别方法[J]. 吕蕾,张金玲,朱英杰,刘弘.  计算机辅助设计与图形学学报. 2015(12)



本文编号：3606409