基于迁移学习的低资源度语音识别声学建模研究

发布时间：2020-04-06 10:35

【摘要】：自动语音识别(Automatic Speech Recognition,ASR)能将人类语音经过计算机处理为文字的过程,是人与机器更顺畅交流的关键技术。在自动语音识别中,声学模型的主流框架为深度神经网络-隐马尔可夫混合模型(Deep Neural Network Hidden Markov Model,DNN-HMM)。随着技术的发展,在海量语音数据加持下的深度神经网络自动语音识别系统取得了接近人类语音转写能力的优异成绩。目前世界上的语言约有7000多种,具有海量语音数据的语种仅有英语、汉语普通话等几种语言,大部分其它的语种由于语音资源采集成本较高,仅有少量的语音资源可供研究,然而在低资源环境下的深度神经网络语音识别系统效果往往表现不佳。随着社会发展的需要,将语音识别技术应用于低资源语种的需求越来越大。迁移学习是一种能够从一种或多种相似的任务中学习到知识,并利用这些学到的知识快速构建其他类似新任务的方法,称之为迁移学习。在基于深度神经网络的语音识别中DNN声学模型的每一层输出都是语音特征的深度表示,这种特征表示包含了人类语音的声学特征共性,通过调整网络参数很容易迁移为其它语种的声学模型,这为低资源语音识别能够通过迁移学习而获得较强的声学模型成为可能。为了提升基于深度神经网络的低资源语音识别声学模型的性能,本文对声学模型的迁移进行了若干方面研究。具体内容包括:跨语种的声学模型迁移是否有效;语种之间的相似性对声学模型迁移的影响;基础模型的数据量对迁移效果的影响;迁移声学模型的训练方式;单音素声学模型能否迁移到三音素声学模型;大数据量多语音共享隐层声学模型的迁移等。本文用资源丰富的汉语、英语训练基础声学模型,用维吾尔语作为低资源语种开展了各项实验。实验结果表明,迁移学习能够通过迁移基础模型来提高低资源语种声学模型的性能。
【图文】：

语音识别,人类,贝尔实验室,说话人

图 1-1 人机对话流程图随着人类计算能力的不断进步和人类对美好生活的不断向往，语音识别的很早就被提出，发展距今已有 60 余载。20 世纪 50 年代，最开始的语音识别聚焦于搭建简单基于模版匹配的孤立音识别系统。1952 年，AT&T 贝尔实验室 Davis 等人开发了 Audrey 系统[音识别以模拟元器件提取元音共振峰频率变化信息为依据对特定说话人的

语音识别系统,语音识别,资源

图 1-2 语音识别系统基本框架1.3 低资源语音识别研究现状目前世界上的语言约有 7000 种左右，使用人口最多的英语、汉语普通话等语音资源优先得到了采集，大部分其它的语种由于语音数据采集成本较高，目前语音资源较为匮乏[27]。然而，在目前主流的 DNN-HMM 语音识别系统都需要大量的语音数据进行训练，低资源环境下的 DNN-HMM 语音识别系统由于训练数据不足，声学模型不能够充分地进行训练，导致语音识别效果不如人意。数据资源在语音识别系统中有着至关重要的作用，在语音识别中，语音、标注、字典等资源的不足或缺失都属于低资源语音识别。近年来，全世界各大研究机构开始着重关注低资源语音识别，在国际上，2011 年初美国 IARPA(Intelligence AdvancedResearch Projects Activity)机构开始实行低资源语音识别的 Bable 计划[28]，该计划的参与者有 MIT、剑桥、CMU、JHU 等知名语音方面的研究机构，主要研究语
【学位授予单位】：新疆大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TN912.34;TP181

【相似文献】