基于LEAP MOTION的盲语识别系统研发

发布时间：2017-12-11 08:21

  本文关键词：基于LEAP MOTION的盲语识别系统研发

  更多相关文章： 盲语识别系统 HMM模型 Leap Motion Unity3D 动态手势

【摘要】：在我们的现实生活中,有着这样的一类人群——聋哑人。据相关机构统计中国的聋哑人人口大约有两千万,在这个庞大的人群中,盲语成为了他们之间交流的主要方式之一。由于盲语存在其自身的特殊性以及较低的普及度,所以这更加大了聋哑人与非聋哑人之间交流的障碍。本文围绕如何解决聋哑人与非聋哑人之间的交流问题,研发出了盲语识别系统,将聋哑人的盲语实时翻译成能够让非聋哑人听懂的语音形式。首先,我们通过体感设备Leap Motion将手语者的手部动作采集下来,结合利用Unity3D软件进行数据的处理并且储存动态手势的相关数据信息。然后,我们将储存下来的动态手势数据进行一个三维坐标的平面化转换处理,将三维空间中的手势坐标信息转化为在二维平面中的坐标信息,这样做是为了减少数据的处理量,从而可以加快我们系统识别的速度。最后,我们将已经平面化的动态手势数据进行一个规一化处理,根据相关的规一化公式将数据信息规整为整数的形式,这样做的目的是为了降低一些模糊手势动作的误识率,且也是为利用HMM模型进行识别提供了一个前提条件。本文还通过查阅相关文献,利用HMM模型来对动态手势进行识别。我们设计了 一组盲语并在HMM模型的基础上对其进行实时识别的试验。通过试验结果分析,我们提出了一个基于HMM模型下的双通道模型——坐标特征模型、笔画特征模型。我们分别对这两种特征模型进行了相关的试验设计,根据试验结果分析得出各种模型下进行识别的优势和劣势。我们还希望通过进一步的研究,从而找到一种模型能够更好地提高盲语识别系统的识别速度以及识别的准确度。由于使用者的差异性,手势识别面向不同的人群,就算是一个标准手部动作也会存在各种差异,这也就增大了识别的准确度。在采集手势数据的过程中产生大量的数据,由于数据量过大就会对算法的要求有着很大的提高,我们希望在今后的研发过程中对于识别的速度以及识别的准确度上面我们要有一个飞跃,我们希望找到一种全新的技术方法来从根本上解决这一问题。
【学位授予单位】：南京大学
【学位级别】：硕士
【学位授予年份】：2017
【分类号】：TP391.41;TP274

【参考文献】

中国期刊全文数据库 前4条

1 孙凯;严潇然;谢荣平;;基于手势识别的智能家居人机交互系统设计[J];工业控制计算机;2014年04期

2 赵建东;高光来;飞龙;;基于HMM的蒙古语语音合成技术研究[J];计算机科学;2014年01期

3 万华根;肖海英;邹松;;面向新一代大众游戏的手势交互技术[J];计算机辅助设计与图形学学报;2011年07期

4 任海兵,祝远新,徐光yP,林学，

本文编号：1277747