手语让听力言语障碍人士之间得以顺畅交流,却仍难以解决听力言语障碍人士和其他人群之间的沟通问题。因此,将手语转化为语音文字的手语翻译技术就能够帮助听力言语障碍人士更好融入社会,更轻松地实现自身价值。手势识别作为手语翻译核心技术,是本文的主要研究内容,本文首先介绍了手势识别的基本原理、如何提取手势特征以及在文中应用到的手势识别算法,即隐马尔科夫模型、BP神经网络以及卷积神经网络。其次,利用加拿大Thalmic Labs实验室推出的创新型MYO臂环实现了集表面肌电信号、加速度信号以及陀螺仪信号的采集。MYO臂环可以将采集到的这三类信号通过低功率的蓝牙传出,不仅佩戴方便,在使用过程中的移动性更好,也更适合与手语识别这样需要长时间佩戴的场景。介绍了表面肌电信号产生原理以及加速度信号传感器与陀螺仪传感器以及使用MYO臂环采集数据的程序流程。而后,针对二维卷积神经网络中二维的卷积核和特征图不适合表面肌电信号的识别的问题,我们选择更适合的一维卷积神经网络。采用经实验表明,给出的一维卷积神经网络拥有较高的判别的准确率,能有效识别静态手语孤立词。最后,针对表面肌电信号进行识别不能很好地表征手势运动特征的问题,引入了加速度流以及陀螺仪流,并给出了适应数据情况的三分支结构,即多流卷积神经网络。经实验表明,给出的多流卷积神经网络拥有较高的数据流判别的准确率,与之对比普通的一维卷积神经网络对于多流数据会出现的过拟合情况,这与输入数据有强噪声而产生的过拟合情况类似。本文选用高集成度的MYO臂环,以表面肌电信号作为手型识别主要信号,以加速度信号以及陀螺仪信号来表征手臂运动轨迹以及翻转等运动特征,并给出适应于数据的多流卷积神经网络进行分类识别。这种识别方法主要有两个特点:其一,选用的卷积神经网络可以直接利用原始的数据,并自动提取特征,不依靠人工设计的方法来提取特征,这不仅规避了复杂且计算量很大的信号预处理部分,更是解决了特征选择具有的局限性的问题。其二,针对动态手语孤立词多要素的特点,我们给出了适应情况的肌电流、加速度流以及陀螺仪流的三分支多流卷积神经网络结构。相较于传统的卷积神经网络无法去除数据间差异特征并会因此出现过拟合以至于无法得到良好识别效果的情况,多流卷积神经网络在处理多类别数据表征的信号时显示出了良好的性能,不会将数据间的差异作为特征,可以有效提取每种数据的特征,能有效识别动态手语孤立词。
【学位单位】：大连理工大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TP183;TN911.6
【参考文献】
相关期刊论文 前10条
1 闯跃龙;陈岭;陈根才;;基于层次化BoF模型和Spectral-HIK过滤的手势识别算法[J];浙江大学学报(工学版);2013年09期
2 刘艳虹;顾定倩;程黎;魏丹;;我国手语使用状况的调查研究[J];语言文字应用;2013年02期
3 王雨;陈常嘉;董岩磊;;基于加速度传感器的车辆防盗技术研究[J];计算机技术与发展;2013年05期
4 江兴;;MEMS市场动向[J];半导体信息;2013年01期
5 郭一娜;王清华;艾杰特·亚伯拉罕;;基于柔性神经树和表面肌电信号的手势识别模型[J];计算机应用与软件;2012年04期
6 樊振宇;;BP神经网络模型与学习算法[J];软件导刊;2011年07期
7 李媛媛;陈香;张旭;杨基海;;基于ART2神经网络的手势动作肌电信号识别[J];中国科学技术大学学报;2010年08期
8 倪训博;赵德斌;姜峰;程丹松;;Viterbi和DTW算法的关系分析——在非特定人手语识别中的应用[J];计算机研究与发展;2010年02期
9 何庆华,吴宝明,彭承琳;表面肌电信号的分析与应用[J];国外医学.生物医学工程分册;2000年05期
10 岳文浩;;骨骼肌的生理学进展[J];医药学报;1976年02期
相关博士学位论文 前1条
1 李云;基于肌电模式的中国手语识别研究及康复应用探索[D];中国科学技术大学;2013年
相关硕士学位论文 前4条
1 郝沙沙;基于表面肌电信号的手部动作识别方法研究[D];河北大学;2018年
2 杨喜东;融合表面肌电和运动传感器信息的中国手语手势识别技术研究[D];中国科学技术大学;2016年
3 常亚南;基于HMM的动态手势识别[D];华南理工大学;2012年
4 朱旭鹏;基于经验公式的连续手势动作表面肌电信号识别方法[D];中国科学技术大学;2011年
本文编号：
2825670
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/2825670.html
