发音器官的运动与声学信号之间映射关系的研究

发布时间：2018-02-24 14:16

  本文关键词： 发音器官 超声图像 语音信号 深度学习 高斯混合模型　出处：《天津大学》2016年硕士论文　论文类型：学位论文

【摘要】：建立发音器官运动与语音信号间的映射关系对于发音训练以及言语矫正有着很重要的作用。本文通过语音记录仪记录中文六个元音(a,o,e,i,u,ü)发音时的语音信号,利用超声仪记录发音时舌头运动的信息,使用高速摄像头记录发音运动时唇部正面和侧面的信息,从而形成了一个中文元音多模态语音数据库。本文提出了一个基于深度学习框架的发音器官运动与声学信号间的双向映射方法。利用基于受限玻尔兹曼机的深度自编码网络方法对发音器官运动信息与声学信号进行了特征提取与重构。重构结果发现,对于超声图像,基于深度学习的特征提取的方法比主成分分析的方法要好;音频信号也能够利用深度自编码网络的方法来表征。然后,我们提出了一个基于深度学习的框架实现两者间的映射关系,该框架是通过深度降噪自编码网络进行改进而来。可以在中文元音数据库上实现语音信号来驱动发音器官的运动,以及发音器官的运动来合成语音信号。并且用传统的基于混合高斯模型的方法与之对比,发现我们提出的方法有更好的效果。最后,我们将该映射框架应用在中文连续语音上,并取得了一定的效果。
[Abstract]:A multi - modal speech database based on depth learning is presented in this paper .

【学位授予单位】：天津大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TN912.3;TP391.41

【相似文献】

相关期刊论文 前8条

1 郭光立;可编程数字发音器[J];家庭电子;1997年03期

2 ;好声音,从何而来?[J];科技传播;2012年19期

3 傅怀平,张学国,杨红;多路合成全息语音发音器官图谱的研究[J];光电子·激光;2002年12期

4 吴强;何清波;孔凡让;;道旁声学信号多普勒畸变校正[J];数据采集与处理;2014年02期

5 吴强;孔凡让;何清波;刘永斌;;基于重采样技术的声学信号多普勒畸变校正[J];信号处理;2012年09期

6 陆罡;杨北海;王晨光;蔡延财;;多普勒计程仪声学信号处理方法研究[J];电脑知识与技术;2014年01期

7 何平;李攀;孙慧琪;孙楠翔;;列车轴承故障声学信号采集系统设计[J];自动化与仪表;2011年10期

8 阮志康;曹广忠;;一种基于DSP的声学信号采集系统设计[J];仪器仪表用户;2006年05期

相关重要报纸文章 前7条

1 王若愚;惜言如金能护嗓[N];保健时报;2006年

2 齐建荣;儿童口吃与心理有关[N];大众卫生报;2007年

3 衣晓峰 本报记者 姚艳春;别让嗓子“超负荷”[N];黑龙江日报;2004年

4 红 火;人到年老应护嗓[N];中国中医药报;2006年

5 记者 谢苗枫　通讯员 卢健民 彭梅蕾;暨大明年新增播音专业[N];南方日报;2008年

6 柳军;帮助孩子正确发音[N];大众卫生报;2000年

7 本报记者　聂翠蓉;我是机器,我像人[N];科技日报;2006年

相关博士学位论文 前3条

1 李睿;发音的3D可视化研究[D];中国科学技术大学;2016年

2 朱仲文;高压共轨柴油机基于声学信号的燃烧特征观测方法研究[D];天津大学;2013年

3 吴强;基于道旁声学信号的列车滚动轴承故障诊断技术研究[D];中国科学技术大学;2013年

相关硕士学位论文 前4条

1 郑锌源;发音器官的运动与声学信号之间映射关系的研究[D];天津大学;2016年

2 暴鸿浩;结合Cine-和Tagged-MRI的发音器官运动观测与分析[D];天津大学;2016年

3 刘杰;三维几何发音模型的构建与控制[D];天津大学;2016年

4 宋婵;人体发音过程中的三维声道几何建模[D];天津大学;2014年

，

本文编号：1530542