基于DNN的汉语语音识别声学模型的研究

发布时间：2017-08-30 08:39

  本文关键词：基于DNN的汉语语音识别声学模型的研究

  更多相关文章： 语音识别 声学模型 深度神经网络

【摘要】：在传统的语音识别声学模型建模方法中,高斯混合模型(Guasian mixture model,GMM)一直占主导地位。然而,在实际应用场景中,汉语连续语音识别系统的识别效果并不理想。另一方面,人工神经网络在早期也用于声学模型建模,但在实际应用中其效果不及高斯混合模型。深度学习是近年来受到研究学者广泛关注的新兴机器学习技术,该技术主要探讨深度神经网络(Deep neural network,DNN)的建模与学习问题,对复杂问题具有很强的建模能力。深度神经网络指的是具有多层隐藏层的表示非线性关系的神经网络结构,该结构已被成功应用到与语音,文本和图像数据相关的问题。本课题首先结合三元文法语言模型建立了一个上下文相关的高斯混合模型——隐马尔可夫模型汉语连续语音识别基准系统,重点分析了模型训练过程中涉及的相关问题。另外本文还构建了两个使用了深度神经网络的汉语连续语音识别系统。其中一个系统基于深度神经网络——隐马尔可夫模型结构,在该系统中,使用深度神经网络描述给定语音信号观测特征时隐马尔可夫模型中不可观测状态的分布模型。在训练该系统的声学模型时,利用一种迭代贪婪训练算法进行训练,使用该算法能利用大量的无标签训练语料,并且可以使用预处理方法初始化深度神经网络中的权重,以帮助目标函数的优化,降低泛化误差。另外一个为基于深度神经网络的Tandem语音识别系统,该技术利用深度神经网络对语音数据作特征提取,并将新的特征向量作为汉语连续语音识别系统的输入特征向量。实验结果显示,基于深度神经网络的语音识别系统取得了较好的识别率,优于传统的依赖于上下文相关技术的GMM-HMM模型,但同时训练时间也相应增加。深度神经网络可以利用连续多帧的高维语音特征向量及语音数据的内在模式进一步提高识别率。
【关键词】：语音识别 声学模型 深度神经网络
【学位授予单位】：哈尔滨工业大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TN912.34
【目录】：

• 摘要4-5
• ABSTRACT5-8
• 第1章 绪论8-14
• 1.1 课题背景8-9
• 1.2 国内外相关技术发展现状9-13
• 1.3 主要研究内容和组织结构13-14
• 第2章 基于HMM的语音识别系统14-25
• 2.1 引言14
• 2.2 隐马尔可夫模型14-18
• 2.2.1 马尔可夫链15
• 2.2.2 隐马尔可夫模型原理15-18
• 2.3 语言模型与解码算法18-19
• 2.4 基于GMM-HMM的声学模型训练19-21
• 2.5 基于ANN-HMM的声学模型训练21-24
• 2.6 本章小结24-25
• 第3章 基于DNN的语音识别系统25-37
• 3.1 引言25
• 3.2 基于预训练的训练方法25-27
• 3.3 深度神经网络用于估计观测概率27-32
• 3.3.1 深度神经网络——隐马尔可夫声学模型27-29
• 3.3.2 基于深度神经网络的声学模型训练算法29-32
• 3.4 基于深度神经网络的Tandem特征提取方法32-36
• 3.4.1 与DNN-HMM识别系统的结合33-34
• 3.4.2 基于Tandem方法的DNN-HMM系统训练算法34-36
• 3.5 本章小结36-37
• 第4章 实验结果及分析37-50
• 4.1 引言37
• 4.2 系统设计与实现37-40
• 4.2.1 语音数据特征提取38
• 4.2.2 建模单元选择38-40
• 4.3 实验和结果分析40-49
• 4.3.1 基于GMM-HMM模型的基准系统40-42
• 4.3.2 基于DNN-HMM模型的识别系统42-48
• 4.3.3 基于Tandem-DNN-HMM模型的识别系统48-49
• 4.4 本章小结49-50
• 结论50-51
• 参考文献51-55
• 附录55-59
• 致谢59

【相似文献】

中国期刊全文数据库 前10条

1 廖晓昕,傅予力,高健,赵新泉;具有反应扩散的Hopfield神经网络的稳定性[J];电子学报;2000年01期

2 张菊亮,章祥荪;一个新的解线性规划的神经网络(英文)[J];运筹学学报;2001年02期

3 罗公亮;从神经网络到支撑矢量机(上)[J];冶金自动化;2001年05期

4 蒋德云,张弓;谷物识别中对神经网络的优化(英文)[J];农业工程学报;2002年05期

5 王芳荣,周德义,郑咏梅,王鼎,张铁强;生物表面光谱特性识别的神经网络方法[J];吉林大学学报(信息科学版);2002年03期

6 宋光雄,何胜锋,曹辉,张峥,钟群鹏;基于Hopfield神经网络的腐蚀失效模式识别[J];金属热处理学报;2003年01期

7 王学武,谭得健;神经网络的应用与发展趋势[J];计算机工程与应用;2003年03期

8 陈有伟,李为民;基于混合训练神经网络的武器系统效能评估[J];计算机工程与应用;2003年08期

9 刘斌,刘新芝,廖晓昕;脉冲Hopfield神经网络的鲁棒H-稳定性及其脉冲控制器设计(英文)[J];控制理论与应用;2003年02期

10 刘国良,强文义,麻亮,陈兴林;基于粗神经网络的仿人智能机器人的语音融合算法研究[J];控制与决策;2003年03期

中国重要会议论文全文数据库 前10条

1 王雷;陈宗海;;神经网络在过程系统建模中的应用综述[A];'2002系统仿真技术及其应用学术论文集（第四卷）[C];2002年

2 周宗潭;胡德文;;自组织的神经网络方法和群落生长模型研究[A];1995年中国智能自动化学术会议暨智能自动化专业委员会成立大会论文集（上册）[C];1995年

3 侯媛彬;易继锴;杨玉珍;陈双叶;韩崇昭;;一种能消除混沌现象的神经网络[A];1996年中国智能自动化学术会议论文集（上册）[C];1996年

4 江铭炎;江铭虎;;一种神经网络特征压缩及分类的研究[A];1998年中国智能自动化学术会议论文集（上册）[C];1998年

5 陈文新;王长富;戴蓓倩;;基于神经网络的汉语四声识别[A];第一届全国语言识别学术报告与展示会论文集[C];1990年

6 刘丰;姜建新;程俊;易克初;;一种用于语音识别的神经网络[A];第二届全国人机语音通讯学术会议论文集[C];1992年

7 梁循;;神经网络中训练样本空间的分割特性及其应用[A];1995中国控制与决策学术年会论文集[C];1995年

8 黄小原;肖四汉;樊治平;;神经网络预警系统及其应用[A];1995中国控制与决策学术年会论文集[C];1995年

9 李艳;邵日祥;方建安;邵世煌;;神经网络在功率电子及拖动控制中的应用[A];1996中国控制与决策学术年会论文集[C];1996年

10 高文忠;顾树生;平力;;静态神经网络新算法及其收敛性初探[A];1994年中国控制会议论文集[C];1994年

中国重要报纸全文数据库 前10条

1 美国明尼苏达大学社会学博士 密西西比州立大学国家战略规划与分析研究中心资深助理研究员 陈心想;维护好创新的“神经网络硬件”[N];中国教师报;2014年

2 卢业忠;脑控电脑 惊世骇俗[N];计算机世界;2001年

3 葛一鸣 路边文;人工神经网络将大显身手[N];中国纺织报;2003年

4 中国科技大学计算机系　邢方亮;神经网络挑战人类大脑[N];计算机世界;2003年

5 记者 孙刚;“神经网络”：打开复杂工艺“黑箱”[N];解放日报;2007年

6 本报记者 刘霞;美用DNA制造出首个人造神经网络[N];科技日报;2011年

7 健康时报特约记者　 张献怀;干细胞移植：修复受损的神经网络[N];健康时报;2006年

8 刘力;我半导体神经网络技术及应用研究达国际先进水平[N];中国电子报;2001年

9 ;神经网络和模糊逻辑[N];世界金属导报;2002年

10 邹丽梅 陈耀群;江苏科大神经网络应用研究通过鉴定[N];中国船舶报;2006年

，

本文编号：758329