基于三维运动捕捉的汉语普通话语音学习软件

发布时间：2021-04-28 22:08

　　本文采用三维运动捕捉技术对汉语普通话的语音以及人脸特征点坐标进行数据采集,通过研究分析发音人汉语普通话唇部的发音变化特征,实现汉语普通话语音学习软件的设计,从而达到语音教学的目的。全文的研究工作主要包括以下三部分内容:（1）采用经过Vicon Cara和Dynamixyz两者改装相结合的面部捕捉技术,得到能够同步采集音频和视频的运动捕捉系统。首先,对人脸面部特征点及语音数据进行采集;其次,使用该系统的CaraPost软件对人脸面部特征点进行预处理;最后,使用Motion Builder导出已处理的人脸三维坐标点。（2）使用MATLAB开发工具构建人脸模型。首先,使用人脸模型方法对三维人脸特征点进行构建;其次,由于构建的人脸唇形曲线不够生动自然,采用三次样条插值方法对内外唇轮廓进行数据平滑处理,从而实现光滑的唇轮廓曲线;最后,三维人脸与语音数据的合成,利用Premiere工具将发音人脸与语音进行渲染合并,并利用切音工具按音节切分,最终得到所有的动态三维人脸发音视频库。（3）通过Director多媒体开发工具实现汉语普通话语音学习软件的设计。首先,依据设计方案对开发软件所需要的素材进行制作... 

【文章来源】：西北民族大学甘肃省

【文章页数】：51 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第1章 绪论
    1.1 研究背景
    1.2 国内外研究现状
        1.2.1 运动捕捉技术的研究
        1.2.2 语音同步人脸动画技术的研究
    1.3 研究目的与意义
    1.4 实验研究方法
    1.5 论文主要内容及结构安排
第2章 汉语普通话语音数据采集与处理
    2.1 汉语普通话概述
    2.2 人脸运动捕捉技术
    2.3 三维运动捕捉环境的搭建
    2.4 实验数据采集
        2.4.1 数据采集准备工作
        2.4.2 数据采集流程
    2.5 实验数据预处理
    2.6 本章小结
第3章 三维人脸模型构建与合成
    3.1 人脸网格模型
    3.2 数据拟合
        3.2.1 三次样条插值
        3.2.2 实验结果
    3.3 人脸合成方法
        3.3.1 工具介绍
        3.3.2 动态发音人脸的合成
    3.4 本章小结
第4章 汉语普通话语音学习软件的设计与实现
    4.1 软件开发环境
    4.2 软件总体设计
        4.2.1 软件开发流程
        4.2.2 软件内容
    4.3 软件交互界面设计
        4.3.1 软件素材制备
        4.3.2 软件界面设计
    4.4 软件功能实现
        4.4.1 软件界面的搭建
        4.4.2 Lingo脚本语言设计
    4.5 本章小结
第5章 总结与展望
    5.1 总结
    5.2 研究展望
参考文献
附录
致谢


【参考文献】：
期刊论文
[1]三次Cardinal样条插值函数的改进及其性质[J]. 杨虹.  无线互联科技. 2018(18)
[2]运动捕捉技术工艺流程及数据处理——面部运动捕捉及数据处理[J]. 常一孜.  现代电影技术. 2016(01)
[3]探讨基于Director的互动多媒体学习光盘的设计与实现[J]. 张鹏丽.  天津职业院校联合学报. 2015(04)
[4]运动捕获技术在三维动画角色面部表情设计的运用[J]. 张漫宇.  天津美术学院学报. 2013(04)
[5]运动捕捉技术及其应用研究综述[J]. 向泽锐,支锦亦,徐伯初,李娟.  计算机应用研究. 2013(08)
[6]人体运动捕捉仪的设计与实现[J]. 段世梅,孙倩,陈彦明.  中国科技信息. 2011(06)
[7]动作捕捉在影视作品中的应用[J]. 尹钊.  影视制作. 2010(11)
[8]基于运动捕捉技术的中国少数民族舞蹈艺术保护方法研究[J]. 邱望标,李超.  电子科技大学学报(社科版). 2009(04)
[9]虚拟人技术研究综述[J]. 罗冠,郝重阳,张雯,樊养余.  计算机工程. 2005(18)
[10]三维人脸建模与应用[J]. 徐成华,王蕴红,谭铁牛.  中国图象图形学报. 2004(08)

博士论文
[1]基于运动捕捉的虚拟人关键技术研究[D]. 索宁.中国矿业大学（北京） 2011
[2]人脸运动捕捉数据处理及表情动画重构研究[D]. 方小勇.大连理工大学 2010
[3]汉语语音同步的真实感三维人脸动画研究[D]. 周维.中国科学技术大学 2008

硕士论文
[1]基于Cardinal样条曲线的微小线段间平滑过渡算法的设计与实现[D]. 袁家兰.中国科学院大学(中国科学院沈阳计算技术研究所) 2018
[2]基于动捕信息的虚实交互技术研究[D]. 郭娇娇.北方工业大学 2017
[3]运动捕捉系统设计及基于运动捕捉数据的步态模式研究[D]. 付龙.北京工业大学 2016
[4]基于运动捕捉数据的三维人体运动合成[D]. 张迪.长安大学 2015
[5]基于汉语协同发音模型的文本驱动三维口型动画合成研究[D]. 王跃.山东财经大学 2014
[6]基于光学运动捕捉的虚拟交互系统开发[D]. 周晓阳.哈尔滨工业大学 2012
[7]三维人脸唇形动画的语音驱动研究[D]. 乔德明.电子科技大学 2010
[8]基于Director软件的有机化学实验的开发与技术研究[D]. 冯慧.武汉理工大学 2009
[9]基于汉语驱动人脸语音动画的研究[D]. 罗琰钦.电子科技大学 2009



本文编号：3166256