基于单目视觉的手语-唇语转化系统研究与实现

发布时间：2024-05-13 02:51

　　在聋校语言教学中,双语教学模式能有效提高聋童的语言学习效率,但对于特殊教师们来说则需花费更多的耐心、时间和精力。面临着我国特殊教育学校的教师资源普遍薄弱的现状,手语识别技术可帮助特教完成语言教学任务——聋童将手语录成视频输入计算机,进而能够学习输出的汉字和唇语,无需老师亲自教学就能完成汉语书面语的学习。另外,计算机只对标准的手语(以《中国手语》为标准)进行识别,借此还可纠正聋童手语方言化的问题。本文研究的是基于单目视觉的手语-唇语转化系统,其关键难点在于手语识别,具体工作如下:一、视频关键帧提取。首先分析了常见的4种视频关键帧提取方法,为了在能完整提取所有关键帧的前提下尽可能消除冗余帧,提出一种基于聚类的视频关键帧优化提取算法。利用卷积自编码器(CAE)神经网络提取视频帧的深度特征,对提取到的特征进行K-means聚类后,采用清晰度筛选取出最清晰的视频帧作为首次提取到的关键帧,再利用点密度方法进行关键帧的二次优化。实验结果表明,本算法能大量消除冗余帧,并同时保证关键帧的完整性。二、对关键帧进行手势识别。针对手部小目标对SSD目标检测网络做了几点改进:将SE-Net嵌入SSD中的特征层提...

【文章页数】：62 页

【学位级别】：硕士

【部分图文】：

图2-1“松”的两个关键手型

基于单目视觉的手语-唇语转化系统研究与实现8第二章基于聚类的关键帧优化提取算法2.1引言基于视觉的手势识别技术是一个富有挑战的、多学科交叉的研究课题，是人机交互领域的一个前沿性课题和研究热点。一个手语视频中并不是每一帧都对其表达的语义有作用，由于手语者的潜意识，在做手语动作时，为....

图2-2包含“松”关键手型的关键帧本章根据手语视频关键帧的特点和手语者的手语习惯，提出一种面向手语

基于单目视觉的手语-唇语转化系统研究与实现8第二章基于聚类的关键帧优化提取算法2.1引言基于视觉的手势识别技术是一个富有挑战的、多学科交叉的研究课题，是人机交互领域的一个前沿性课题和研究热点。一个手语视频中并不是每一帧都对其表达的语义有作用，由于手语者的潜意识，在做手语动作时，为....

图2-3关键帧提取和优化算法基本思想流程图

基于单目视觉的手语-唇语转化系统研究与实现10的关键帧集合，最后在中国科学技术大学SLRDataset中的xf500_color_video数据集进行实验。2.3关键帧优化提取算法本文提出一种针对手语视频的关键帧提取和优化算法，基本思想流程如图2-3所示，算法分为特征提娶清晰度优....

图2-4最简单的自编码网络结构

基于单目视觉的手语-唇语转化系统研究与实现11自编码器网络属于无监督学习，主要应用于图像重构、图像压缩和特征提取等。为了学习到输入数据的高级特征，该类网络通过学习将输入复制到输出上，经典的自编码器网络包括三层神经元——输入层、中间层（瓶颈层）和输出层，如图2-4，输入层L1至中间....

本文编号：3972266