山西大同地方方言语音识别技术及应用研究

发布时间：2021-09-19 06:30

　　大同市地处山西省最北部,其地方方言是晋语的重要组成部分,该地区的语言特点相比于晋中和晋南的方言复杂度更低。对该区域方言的语音识别的研究可以为山西地方方言语音识别技术的研究奠定良好的技术基础。本文首先介绍了大同方言的语言特点及大同方言语音数据集的构建过程,语音数据集将应用于大同方言语音识别模型的训练。大同方言与普通话在语法、发音等方面有着较大的差异,相比于普通话多出了“入声”声调。因入声发音短促,一发即收,音频的持续时间更短,所以入声特征在语谱图中的频谱范围更小,使得语音的频谱表示更为复杂,针对这一问题,结合卷积神经网络的结构特性,本文提出了一种“多核卷积融合网络（MCFN）”来提取语谱图中不同持续时长的音素特征,该结构可附加于声学模型之前,增强声学模型的鲁棒性。此外,本文还结合注意力机制构建了端到端的大同方言语音翻译模型,该模型把大同方言与普通话视为两种不同的语言,通过将大同方言的语音信号特征输入至端到端的语音翻译模型并映射成高维度的特征,再与中文普通话文本形成对应关系,输出结果,该模型可直接使方言语音与普通话文本建立联系,无需方言文本作为过渡,减少了方言文本的质量问题给模型带来的消极... 

【文章来源】：中北大学山西省

【文章页数】：76 页

【学位级别】：硕士

【部分图文】：

音频数据命名示例

中北大学学位论文13图2-1音频数据命名示例Fig.2-1Audiodatanamingexample(4)语音标注：标注工作人工完成，分别为每一条音频建立标注文本文件，文件格式为“.txt”，标注文件名与音频文件名一一对应，如图2-2所示。图2-2标注文件示例Fig.2-2Sampleannotatedfile标注内容为语音中对应的文本及其拼音，拼音包括普通话拼音和方言拼音，方言拼音按照前文所述方言特点标注，如图2-3所示。图2-3标注文件内容Fig.2-3Thecontentsoflabel2.2.4数据信息汇总在参考并调研了目前大部分常用的语音数据集后，发现部分数据集中缺少一个能够指导研究者使用的数据汇总文件，由于各数据集的构建规格不一致，所以在使用这些数

中北大学学位论文13图2-1音频数据命名示例Fig.2-1Audiodatanamingexample(4)语音标注：标注工作人工完成，分别为每一条音频建立标注文本文件，文件格式为“.txt”，标注文件名与音频文件名一一对应，如图2-2所示。图2-2标注文件示例Fig.2-2Sampleannotatedfile标注内容为语音中对应的文本及其拼音，拼音包括普通话拼音和方言拼音，方言拼音按照前文所述方言特点标注，如图2-3所示。图2-3标注文件内容Fig.2-3Thecontentsoflabel2.2.4数据信息汇总在参考并调研了目前大部分常用的语音数据集后，发现部分数据集中缺少一个能够指导研究者使用的数据汇总文件，由于各数据集的构建规格不一致，所以在使用这些数


本文编号：3401204