中国普乐手语手势动作识别研究
发布时间：2020-11-07 13:26
我国听障人群约占世界1/5并逐年增加,中国手语是聋人和健听人交流的一种有效工具,如何实现大规模词汇量的中国手语手势动作识别仍然面临很多问题。作为一种规范的语言文字型手语,中国普乐手语采用音形码和部件码编码手势动作实现中国汉字的表达。其编码手势动作规模小且数量恒定,易于词汇量扩展,且文字型手语有助于聋哑人建立汉语思维,学习知识,从而融入社会。因此,本文以普乐手语编码手势动作为主要研究对象,分别从表面肌电电极和摄像头两种手势动作信号捕获方式入手,深入研究中国普乐手语手势动作识别的具体问题。1、表面肌电信号(surface electromyogram,sEMG)在表征精细手势动作方面具有天然优势,但由于个体解剖生理差异及执行方向等因素,同一手势动作产生的sEMG信号不尽相同。本文提出了一种基于典型相关分析的方向无关手势识别框架PICCA(position independent canonical correlation analysis),以预先定义的专家特征集为桥梁,将多个方向的训练特征与指定方向的测试特征映射成统一风格特征,挖掘相同手势动作sEMG信号在不同方向上的相似性。用户相关和用户无关两种实验方案的结果表明,采用CCA得到的手势动作识别结果相比于无CCA的结果分别提升28.52%和44.19%,充分说明PICCA方案能够提取相同手势动作在不同方向上sEMG信号的相似性,为减弱肌电控制系统中的用户依赖特性和方向依赖特性提供一种解决方案。同时,通过较少量的测试数据参与模型校准,实现方向无关手势动作肌电信号有效识别,在一定程度上降低了用户数据采集负担。2、由于摄像头成本低、用户无需佩戴传感器、设备普及度高等优点,基于视觉的手势识别技术引起了研究学者的广泛关注。本文也研究了基于摄像头的中国普乐手语手势识别。中国普乐手语编码手势动作共有13个基本手形,每个手形分别在三个不同方向上执行,分别代表三种不同的编码手势动作。本文提出了基于手指角度距离特征(angle distance of fingers,ADOF)和手掌角度距离特征(angle distance of hand,ADOH)用于表征同一手势动作的不同方向信息,之后通过动态时间规整算法(dynamic time warping,DTW)将ADOF和ADOH特征进行相似性距离映射,进一步增强特征的鲁棒性。实验表明本文提出的特征ADOF或ADOH,结合DTW映射有助于提取对指向敏感的信息,可以有效识别中国普乐手语编码手势动作;采用分类器工具包进行手势动作识别,对两类特征大部分分类器的结果可以达到95%和90%以上。该研究为大规模词汇量连续中国手语识别系统提供了一种解决方案,尤其对推广规范的中国手语具有重要意义。
【学位单位】：合肥工业大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TP391.41;TN911.7
【部分图文】：
分指横和指下两个方向[6]，因此，涉及指上、指横、指普乐手语是一种文字型音形码手语，根据汉字的特点打出对手语。普乐手语具有多方面的优势，概括为以下几点：该版本的手语是一种完全意义上的语言文字型手语，常用的采用 39 类基本手势动作组合来表征。而且手语根据字音字生了新的汉字，普乐手语也能够对应产生新的手语手势，语打出的尴尬，具有大词汇量可扩展优势。文字的表示只需要在口边和腰部变换一次手势即可，不需要每个字母对应的手势来回变换多次手势，减轻了执行者的换手势导致手势不连贯而看不出所要表达的文字的问题。另外，普乐手语由 13 个基本指式和 3 个基本朝向构成，形数目有限且少量的手势有利于聋哑人系统学习和记忆汉语再者，这种结合文字、字音的手语打法，有利于聋人建立汉拼音及汉字。通过识别手语动作，将其结果用有声或者文助于聋人和健听人之间的交流。
合肥工业大学学术硕士研究生学位论文特征，去除冗余数据，减少数据存储量，简化分类器中的计算，加而特征映射过程为了发现更有价值的潜在变量，使得重构后的特征意义或统计意义，可以加深对数据的理解，使某些数据具有一定的时能更有效的表征原手势动作，提高识别率。这也是本文的重点部章和第四章中具体阐述关于肌电和图像的手语手势识别中特征提取5）分类识别过程主要包含分类器的选择和设计，在特征空间中使用识别的手语手势动作进行分类，主要分为两个阶段：分类器通过对来构建模型，和对未知测试样本数据的判决分类。这是实现手势动关键一步。分类过程一般分无监督和有监督学习两类，最近邻、K聚类方式，而支持向量机、贝叶斯分类器、神经网络等为典型的有。手语特征提取分类识别
图 2.2 5 个时域导谱矩特征推导过程[32]Fig.2.2 The derivation process of 5 time-dependent power spectrum moment features[32].2.2.2图像手势特征提取方法基于视觉的手势识别的主要问题在于如何处理各种各样的手势及姿态。手势识别有时需要处理多个自由度的数据，根据摄像机的视角直接处理二维平面上手势轮廓尺度等空间信息，以及手势运动速度、轨迹等时间信息[21]。此外，手势识别系统还需要根据具体的应用程序、解决方案的成本以及实时性、健壮性、用户独立性等标准来平衡系统性能。目前，手势识别已经逐渐呈现从二维走向三维，从静态走向动态的发展趋势。但是，普乐手语作为一些静态指势动作的集合，不涉及动态组合及手势轨迹信息，但存在多方向手势识别问题，因此本文更关注手形的姿态表征。图像特征提取是将输入数据中感兴趣的部分转化为一组压缩的、有代表性的特征向量集。在手势识别中，提取的特征应包含从输入的手势数据中提取得到与手势相关的信息，并以更紧凑、无冗余的形式表示，提取的特征要能够将各类别
【参考文献】
本文编号：2874011
【学位单位】：合肥工业大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TP391.41;TN911.7
【部分图文】：
分指横和指下两个方向[6]，因此，涉及指上、指横、指普乐手语是一种文字型音形码手语，根据汉字的特点打出对手语。普乐手语具有多方面的优势，概括为以下几点：该版本的手语是一种完全意义上的语言文字型手语，常用的采用 39 类基本手势动作组合来表征。而且手语根据字音字生了新的汉字，普乐手语也能够对应产生新的手语手势，语打出的尴尬，具有大词汇量可扩展优势。文字的表示只需要在口边和腰部变换一次手势即可，不需要每个字母对应的手势来回变换多次手势，减轻了执行者的换手势导致手势不连贯而看不出所要表达的文字的问题。另外，普乐手语由 13 个基本指式和 3 个基本朝向构成，形数目有限且少量的手势有利于聋哑人系统学习和记忆汉语再者，这种结合文字、字音的手语打法，有利于聋人建立汉拼音及汉字。通过识别手语动作，将其结果用有声或者文助于聋人和健听人之间的交流。
合肥工业大学学术硕士研究生学位论文特征，去除冗余数据，减少数据存储量，简化分类器中的计算，加而特征映射过程为了发现更有价值的潜在变量，使得重构后的特征意义或统计意义，可以加深对数据的理解，使某些数据具有一定的时能更有效的表征原手势动作，提高识别率。这也是本文的重点部章和第四章中具体阐述关于肌电和图像的手语手势识别中特征提取5）分类识别过程主要包含分类器的选择和设计，在特征空间中使用识别的手语手势动作进行分类，主要分为两个阶段：分类器通过对来构建模型，和对未知测试样本数据的判决分类。这是实现手势动关键一步。分类过程一般分无监督和有监督学习两类，最近邻、K聚类方式，而支持向量机、贝叶斯分类器、神经网络等为典型的有。手语特征提取分类识别
图 2.2 5 个时域导谱矩特征推导过程[32]Fig.2.2 The derivation process of 5 time-dependent power spectrum moment features[32].2.2.2图像手势特征提取方法基于视觉的手势识别的主要问题在于如何处理各种各样的手势及姿态。手势识别有时需要处理多个自由度的数据，根据摄像机的视角直接处理二维平面上手势轮廓尺度等空间信息，以及手势运动速度、轨迹等时间信息[21]。此外，手势识别系统还需要根据具体的应用程序、解决方案的成本以及实时性、健壮性、用户独立性等标准来平衡系统性能。目前，手势识别已经逐渐呈现从二维走向三维，从静态走向动态的发展趋势。但是，普乐手语作为一些静态指势动作的集合，不涉及动态组合及手势轨迹信息，但存在多方向手势识别问题，因此本文更关注手形的姿态表征。图像特征提取是将输入数据中感兴趣的部分转化为一组压缩的、有代表性的特征向量集。在手势识别中，提取的特征应包含从输入的手势数据中提取得到与手势相关的信息，并以更紧凑、无冗余的形式表示，提取的特征要能够将各类别
【参考文献】
相关期刊论文 前1条
1 葛遂元;;中国手语两派之争解谈[J];绥化学院学报;2012年03期
相关博士学位论文 前3条
1 李云;基于肌电模式的中国手语识别研究及康复应用探索[D];中国科学技术大学;2013年
2 成娟;基于表面肌电和加速度信号融合的动作识别和人体行为分析研究[D];中国科学技术大学;2013年
3 张旭;基于表面肌电信号的人体动作识别与交互[D];中国科学技术大学;2010年
相关硕士学位论文 前1条
1 管睿;基于分数阶的多重集典型相关分析算法研究[D];南京理工大学;2015年
本文编号：2874011
本文链接：https://www.wllwen.com/kejilunwen/xinxigongchenglunwen/2874011.html
