语音到手势转换的FPGA实现

发布时间：2017-03-27 01:04

  本文关键词：语音到手势转换的FPGA实现，，由笔耕文化传播整理发布。

【摘要】：目前,全球超过6.3亿人因为听力障碍给生活和学习造成极大的困扰。虽然现有的研究已经实现了手势到语音的转换,但是缺乏语音到手势的转换研究,这使得言语障碍者与外界沟通之间存在极大的障碍。为此,论文设计并实现了一个基于FPGA的语音到手势的转换系统。首先训练了孤立词的语音识别声学模型,同时根据《中国手语》录制了孤立词所对应的手势图像。在此基础上,利用FPGA实现了语音到手势的转换,将手势图像和训练好的孤立词声学模型存入FPGA的SDRAM中,将输入的孤立词语音信号与孤立词声学模型进行匹配,输出匹配度最优的结果,最终将识别出的孤立词对应的手势显示在FPGA的配套LCD液晶屏上。论文的主要工作和创新如下:1.实现了一个基于隐Markov模型(Hidden Markov Model,HMM)的语音孤立词识别系统。录制了20个孤立词的训练语料,采用梅尔频率倒谱系数(Mel Frequency Cepstrum Coefficient,MFCC)作为声学特征,利用HTK实现了模型的训练。实验结果表明,本文实现的孤立词识别系统能够在特定人上达到100%的识别率。2.录制20个孤立词语音所对应的手势图像。在《中国手语》日常会话教材中选取0-10这11个阿拉伯数字,以及赞美、友好、拒绝、感恩、好的、鄙视、爱心、爱、差劲合计20个孤立词所对应的手势图像。将选取的孤立词手势图像用分辨率为240x320的BMP格式来保存,用于最终在液晶屏上手势图像的显示。3.实现了基于FPGA的语音到手势的转换系统。以NIOS II为软核处理器系统,将Nios II嵌入到FGPA芯片EP4CE115F29C7N中,完成语音信号实时采集、语音解码存储、语音识别模式匹配、手势图像液晶显示四个部分。对系统架构进行了单一模块的调试与整合调试。此外,结合SOPC特性,设计了人机接口,完成了一个基于FPGA平台的语音识别到手势图像显示的系统。4.对系统进行了测试。对硬件平台运行速度与软件平台运行速度进行了对比,结果表明FPGA硬件平台识别的时间比软件平台快30倍。对两个不同环境下的系统进行特定人和非特定人语音识别到手势显示识别率的测试,得出安静环境下特定人和非特定人的平均识别率分别为100%、82.6%,噪声的环境下特定人和非特定人的平均识别率分别为88.9%、72.6%。
【关键词】：语音到手势转换 语音识别 手势显示 FPGA HMM
【学位授予单位】：西北师范大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TN912.34;TN791
【目录】：

• 摘要4-5
• Abstract5-9
• 第1章 绪论9-14
• 1.1 研究背景9-10
• 1.2 国内外研究进展10-11
• 1.2.1 语音识别的研究状况10
• 1.2.2 语音识别硬件技术的研究状况10-11
• 1.3 SOPC技术11-12
• 1.3.1 SOPC技术介绍11
• 1.3.2 FPGA技术介绍11-12
• 1.4 主要工作12
• 1.5 研究意义12-13
• 1.6 论文主要内容和章节安排13-14
• 第2章 基于HMM的孤立词语音识别原理14-28
• 2.1 语音识别的基本原理14-15
• 2.2 语音信号的特征提取15-18
• 2.2.1 线性预测分析15-16
• 2.2.2 倒谱分析16-18
• 2.3 模版匹配18-19
• 2.3.1 动态时间规整18
• 2.3.2 人工神经网络18-19
• 2.3.3 隐马尔可夫模型19
• 2.4 HMM训练和识别算法19-22
• 2.4.1 训练—Baum-Welch算法19-21
• 2.4.2 识别—Viterbi算法21-22
• 2.5 HTK工具箱22-27
• 2.5.1 HTK软件体系结构22-23
• 2.5.2 PC机的孤立词训练和识别23-27
• 2.6 本章小结27-28
• 第3章 系统整体设计28-45
• 3.1 FPGA设计基础28-31
• 3.1.1 FPGA简介及开发流程28-30
• 3.1.2 FPGA硬件开发板简介30-31
• 3.2 系统整体架构设计31-32
• 3.3 FPGA中各功能模块的设计32-44
• 3.3.1 语音采集模块32-34
• 3.3.2 存储系统设计34-35
• 3.3.3 NIOS Ⅱ程序控制模块35-42
• 3.3.4 液晶显示模块42-44
• 3.4 本章小结44-45
• 第4章 基于FPGA的孤立词语音到手势转换整体实现45-60
• 4.1 系统整体实现45-46
• 4.2 系统性能分析46-51
• 4.2.1 资源利用率情况48
• 4.2.2 系统运行速度48-51
• 4.3 系统功能测试51-59
• 4.3.1 软件平台的识别测试51-53
• 4.3.2 硬件平台的识别测试53-55
• 4.3.3 系统整体测试结果55-59
• 4.4 本章小结59-60
• 第5章 总结与展望60-62
• 5.1 论文工作总结60-61
• 5.2 工作展望61-62
• 参考文献62-65
• 附录A65-66
• 附录B66-67
• 攻读学位期间的研究成果67-68
• 致谢68

【相似文献】

中国期刊全文数据库 前10条

1 徐文盛,戴蓓倩,方绍武,李辉;基于连续HMM的孤立语音鲁棒性识别方法[J];电路与系统学报;1999年04期

2 宋志辉,徐劲飞,周兵;语音拨号电话的研究与开发[J];微型机与应用;2000年05期

3 张磊,韩纪庆,王承发;一种对应力变异语音的特征补偿方法[J];声学学报;2004年01期

4 陈文;学会使用语音——IBM-ViaVoice[J];电脑技术;2004年04期

5 卢艳;吕梅蕾;;一种基于HL7003的语音门锁控制器的设计[J];机电工程;2008年07期

6 周军;;语音辨识在医疗设备中应用探讨[J];医疗装备;2009年01期

7 刘万凤;胡军;袁伟伟;;陆空通话标准用语(英语)的语音指令识别技术研究[J];计算机科学;2013年07期

8 胡萍;刘晓文;袁保锋;李雪峰;刘艳;;具有语音辨识能力的声控汽车的实现[J];通信技术;2007年05期

9 G·菲利普 ,尹汉军 ,殷怀义;联机检索系统中的语音接口研究[J];情报理论与实践;1991年03期

10 张照坤;;语音转换关键技术研究[J];电脑知识与技术;2008年07期

中国重要会议论文全文数据库 前8条

1 李峰;刘瑞红;靳利敏;朱改芳;;腭裂术后语音训练选择最佳介入时机的临床研究[A];2011年河南省五官科护理优质服务管理新工程与临床护理新技术交流会论文集[C];2011年

2 靳慧龙;;基于DSP的电视语音拨号遥控技术[A];中国自动化学会、中国仪器仪表学会2004年西南三省一市自动化与仪器仪表学术年会论文集[C];2004年

3 陈伟;李成荣;高倩倩;;儿童语音数据库与儿童语音识别技术初探[A];第八届全国人机语音通讯学术会议论文集[C];2005年

4 张梅;;腭裂术后语音形成的影响因素分析及对策[A];全国口腔科护理学术交流暨专题讲座会议论文汇编[C];2002年

5 王淑莲;;语音正音方法例谈[A];江西省语言学会2005年年会论文集[C];2005年

6 赵丽;李小妹;;腭裂患者语音康复需求的调查分析[A];中华护理学会2009全国口腔科护理学术交流暨专题讲座会议论文汇编[C];2009年

7 靳利敏;李峰;翟英;付坤;;咳痰诱导法在腭裂术后舌根音发音矫正中的应用[A];2012年河南省五官科优质服务护理管理与专科护士培养学术研讨会论文集[C];2012年

8 靳利敏;李新明;李峰;翟瑛;付坤;;咳痰诱导法在腭裂术后舌根音发音矫正中的应用[A];河南省五官科专科护士培养及岗位管理学术会议论文集[C];2013年

中国重要报纸全文数据库 前5条

1 刘柳;患儿腭裂术后语音训练[N];医药养生保健报;2008年

2 黄明明;语音训练中的“矫枉过正”[N];语言文字周报;2005年

3 北京清华大学电子工程系副教授 刘加 教授 刘润生;让机器听懂我的话[N];科技日报;2001年

4 山东 周少军;Web-TalkIt让浏览器听你的指挥[N];电脑报;2001年

5 吴一福;腭裂综合序列治疗新技术[N];中国医药报;2006年

中国博士学位论文全文数据库 前1条

1 徐静波;语音时频及非线性增强处理方法研究[D];解放军信息工程大学;2005年

中国硕士学位论文全文数据库 前10条

1 高楠;腭裂术后患者舌尖音构音异常的语音特点及语音训练[D];郑州大学;2016年

2 白祖仕;语音到手势转换的FPGA实现[D];西北师范大学;2016年

3 王正昊;腭裂术后患儿语音训练前后普通话塞音的强频集中区频率及冲直条分析[D];广西医科大学;2015年

4 严舒;3-5岁学前儿童语音能力评估标准化及应用研究[D];华东师范大学;2012年

5 吴媛媛;关于与唇腭裂患者相关的语音标准值[D];上海师范大学;2006年

6 安富菊;基于MOST网络的车载语音接口设备的设计与实现[D];吉林大学;2010年

7 金玉卿;情感变异语音的分类与识别的研究[D];黑龙江大学;2012年

8 王莉莉;基于语音生成和获取中声音分类学习的神经模型研究[D];南京邮电大学;2012年

9 李清华;语音转换技术研究及实现[D];湖南师范大学;2015年

10 常景鑫;基于混淆网络的语音文档主题分类研究[D];哈尔滨工程大学;2010年

  本文关键词：语音到手势转换的FPGA实现，由笔耕文化传播整理发布。

本文编号：269618