结合发音特征与深度学习的语音生成方法研究

发布时间：2021-09-13 19:59

　　发音特征指的是人类语音产生过程中舌头、牙齿、嘴唇等发音器官的位置和运动特征。发音特征描述层次化语音产生过程中的生理层信息,与声学特征紧密相关,同时又具有物理意义明确、受环境噪声影响小等优点。因此,近年来结合发音特征的语音信号处理方法受到了广泛的研究关注。本文围绕结合发音特征的语音生成方法开展研究,重点关注发音特征到声学特征转换与结合发音特征的统计参数语音合成两个任务。发音特征到声学特征转换旨在建立发音特征到声学特征的映射关系,实现在只使用发音特征的情况下生成自然可懂的语音信号。该技术在静默语音接口、可控语音合成、话者与口音转换等方面有着应用价值。现阶段该技术研究主要集中于发音特征到反映声道滤波器特性的频谱特征的转换,对于发音特征到声源激励相关的能量、清浊判决、基频等声学特征转化方法的研究较为缺乏。此外,已有研究工作主要使用混合高斯模型（Gaussian mixture model,GMM）建立发音特征到声学特征的映射关系,也存在建模精度不足以及生成语音质量不高的问题。结合发音特征的统计参数语音合成旨在将发音特征融入统计参数语音合成的声学建模,改善从文本预测声学特征的精度与合成语音的自然... 

【文章来源】：中国科学技术大学安徽省 211工程院校 985工程院校

【文章页数】：106 页

【学位级别】：博士

【部分图文】：

图１．２发首爺官７Ｆ意图（蔡明綺，２０１５）

第１章绪?论??ｆｗｌｒｉｒ＇￣??＾＾ｖＰｉａａＢｌ??图１．３?ＥＭＡ数据采集过程（蔡明琦，２０１５）。??说话人摄像机??ＩＤ????｜?口?唇部正面图像?＾??｜超纖头一Ｉｌｆ酬声像带Ｉ??图１．４超声波及光学成像数据采集过程。??？超声波及光学成像（ｕｌｔｒａｓｏｕｎｄ?ａｎｄ?ｏｐｔｉｃａｌ?ｉｍａｇｉｎｇ）?（Ｈｕｅｂｅｒ?ｅｔ?ａｌ．，２０１６）。??图１．４展示了这项技术采集发音特征时的场景。这里使用了光学摄像头用于??拍摄说话人正面嘴唇部分的运动，对于肉眼看不见的口腔、鼻腔以及声带??等部位使用超声波成像技术来拍摄。这项技术的优点在于无背景噪声干扰??且对说话人无任何妨碍，缺点在于时间和空间分辨率相对较低。??？核磁共振成像（ｆｕｎｃｔｉｏｎａｌ?ｍａｇｎｅｔｉｃ?ｒｅｓｏｎａｎｃｅ?ｉｍａｇｉｎｇ，?ｆＭＲＩ）?（Ｎａｒａｙａｎａｎ??ｅｔａｌ．，２０１１）。这项技术利用核磁共振对说话人侧方中剖面进行成像，优??．?点在于对发音器官信息记录较为全面，缺点在于录制时背景噪声较大，时??域分辨率相对不高等。??？肌电描记法（ＥｌｅｃｔｒｏＭｙｏＧｒａｐｈｙ，ＥＭＧ）?（Ｓｃｈｕｌｔｚ?ｅｔａｌ．，?２０１０）。这项技术使??３??

ＩＤ????｜?口?唇部正面图像?＾??｜超纖头一Ｉｌｆ酬声像带Ｉ??图１．４超声波及光学成像数据采集过程。??？超声波及光学成像（ｕｌｔｒａｓｏｕｎｄ?ａｎｄ?ｏｐｔｉｃａｌ?ｉｍａｇｉｎｇ）?（Ｈｕｅｂｅｒ?ｅｔ?ａｌ．，２０１６）。??图１．４展示了这项技术采集发音特征时的场景。这里使用了光学摄像头用于??拍摄说话人正面嘴唇部分的运动，对于肉眼看不见的口腔、鼻腔以及声带??等部位使用超声波成像技术来拍摄。这项技术的优点在于无背景噪声干扰??且对说话人无任何妨碍，缺点在于时间和空间分辨率相对较低。??？核磁共振成像（ｆｕｎｃｔｉｏｎａｌ?ｍａｇｎｅｔｉｃ?ｒｅｓｏｎａｎｃｅ?ｉｍａｇｉｎｇ，?ｆＭＲＩ）?（Ｎａｒａｙａｎａｎ??ｅｔａｌ．，２０１１）。这项技术利用核磁共振对说话人侧方中剖面进行成像，优??．?点在于对发音器官信息记录较为全面，缺点在于录制时背景噪声较大，时??域分辨率相对不高等。??？肌电描记法（ＥｌｅｃｔｒｏＭｙｏＧｒａｐｈｙ，ＥＭＧ）?（Ｓｃｈｕｌｔｚ?ｅｔａｌ．，?２０１０）。这项技术使??３??

【参考文献】：
博士论文
[1]融合发音机理的统计参数语音合成方法研究[D]. 蔡明琦.中国科学技术大学 2015
[2]基于隐马尔科夫模型的语音合成技术研究[D]. 吴义坚.中国科学技术大学 2006



本文编号：3395249