基于DIVA模型的汉语语音脑机接口系统的研究

发布时间：2017-04-26 15:05

  本文关键词：基于DIVA模型的汉语语音脑机接口系统的研究，由笔耕文化传播整理发布。

【摘要】：DIVA(Direction Into Velocities of Articulators)模型是一种描述人脑中涉及语音生成和语音理解区域相关作用的数学模型。该模型主要特征是反映神经解剖学与大脑相关区域的关联性,并模拟人脑如何控制发音器官的运动,从而进行音素、单词以及句子发音的仿真。目前为止,DIVA模型是唯一使用伪逆控制方案并具有生物学意义的神经网络模型,因此,DIVA模型对设计出能够通过获取人脑发出的信号从而代替人类发音的语音脑机接口系统具有指导意义。本文的主要工作是:1.在对DIVA模型的结构和定义进行研究的基础上,设计与中文发音相关的功能磁共振成像(functional agnetic resonance imaging,fMRI)实验;2.依据实验结论,对中文语音发音过程对DIVA模型大脑感兴趣区域所产生的影响进行研究,并做出相应修改;3.采用无创型脑电信号(Electroencephalograph,EEG)采集方案提取这些大脑区域产生的脑电信号。在主要工作的第三部分,因所采用的无创型采集方案所获取的脑电信号具有较多的眼电和肌动等干扰,所以我们采用独立分量分析方式(Independent Component Correlation Algorithm,ICA)来去除脑电信号中的干扰信号,之后再使用小波包分解和共空间模式(Common Spatial Patterns,CSP)分别对脑电信号进行特征提取,最后应用支持向量机模型(Support Vector Machine,SVM)分类器对特征提取结果进行分类。应用这样的方法,我们设计出了一个专门针对汉语语音发音的脑机接口系统。最后实验结果表明,使用本文方式设计的汉语语音脑机接口(Brain-Computer Interface,BCI)系统具有良好的性能,支持向量机模型对汉语发音脑电信号的分类精度最高为75%,达到了国外研究者使用侵入式脑电采集方案设计的英语语音脑机接口的分类精度。本文的研究为中文语音神经分析系统的设计提供了可行方案。此外,本文的实验的结论也印证了DIVA模型对于发音过程大脑相关区域关联性的预测。因此,本文为汉语语音脑机接口系统和汉语语音生成与获取的研究奠定了良好的基础。
【关键词】：DIVA模型 脑机接口 小波包分解 功能磁共振成像 共空间模式 支持向量机模型
【学位授予单位】：南京邮电大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TN912.3;R338
【目录】：

• 摘要4-5
• abstract5-8
• 专用术语注释表8-10
• 第一章 绪论10-15
• 1.1 研究背景与出发点10-11
• 1.2 国内外研究现状11-13
• 1.2.1 脑电信号处理11
• 1.2.2 神经分析系统11-13
• 1.3 研究内容13
• 1.4 论文架构13-15
• 第二章 语音脑机接口系统概述15-21
• 2.1 DIVA模型概述15-17
• 2.2 脑机接口与汉语神经分析系统（Chinese Neuralynx System，，CNS）17-18
• 2.3 脑传感器18-20
• 2.4 本章小结20-21
• 第三章 基于DIVA模型对中文语音发音过程的fMRI成像研究21-30
• 3.1 引言21-22
• 3.2 同步采集的神经生理基础22
• 3.3 DIVA模型中对语音任务脑区域激活的定义22-23
• 3.4 DIVA模型组件与发音相关脑区的映射关系23-25
• 3.5 大脑剩余皮层感兴趣区域25-26
• 3.6 实验设计26-27
• 3.6.1 实验对象及材料26-27
• 3.6.2 实验任务27
• 3.7 数据处理27-28
• 3.8 实验结论28-29
• 3.9 本章小结29-30
• 第四章 基于DIVA模型的汉语发音脑电信号识别方法研究30-46
• 4.1 引言30
• 4.2 实验方案30-32
• 4.2.1 实验设计与信号采集30-31
• 4.2.2 实验数据的预处理31-32
• 4.2.3 通道的选择32
• 4.3 数据处理工具32-33
• 4.3.1 EEGLAB32-33
• 4.4 脑电信号的去噪33-35
• 4.4.1 眼球运动伪迹和肌肉运动伪迹33-34
• 4.4.2 使用独立分量分析(Independent Component Correlation Algorithm,ICA)去除伪迹34-35
• 4.5 脑电信号的特征提取35-40
• 4.5.1 使用小波包分解对脑电信号进行特征提取35-39
• 4.5.1.1 小波变换35
• 4.5.1.2 小波包分解的特点35-38
• 4.5.1.3 小波能量分解38
• 4.5.1.4 小波包分解处理脑电信号的优势38-39
• 4.5.1.5 使用小波包分解对实验数据进行特征提取39
• 4.5.2 使用共空间模式（CSP）对脑电信号进行特征提取39-40
• 4.5.2.1 CSP的特点39
• 4.5.2.2 使用CSP对实验数据进行特征提取39-40
• 4.6 特征向量的分类和预测40-43
• 4.6.1 支持向量机模型（SVM）40-41
• 4.6.2 LibSVM41-42
• 4.6.3 使用支持向量机模型对特征向量进行识别42-43
• 4.7 通道的选择对中英文发音识别精度的影响43-44
• 4.8 本章小结44-46
• 第五章 汉语语音脑机接口系统的实现46-52
• 5.1 引言46
• 5.2 DIVA模型的发音过程46-50
• 5.2.1 前田几何声道模型46-48
• 5.2.2 DIVA模型的发音的学习过程48-49
• 5.2.3 使用分类结果驱动DIVA模型进行发音49-50
• 5.2.3.1 DIVA模型接口49
• 5.2.3.2 DIVA模型用户接口与发音流程49-50
• 5.3 本章小结50-52
• 第六章 总结与展望52-54
• 6.1 总结52
• 6.2 展望52-54
• 参考文献54-59
• 附录1 程序清单59-61
• 附录2 攻读硕士学位期间撰写的论文61-62
• 附录3 攻读硕士学位期间申请的专利62-63
• 附录4 攻读硕士学位期间参加的科研项目63-64
• 致谢64

【相似文献】

中国期刊全文数据库 前10条

1 柯大观;童勤业;;排列复杂性度量应用于脑机接口信号分析[J];传感技术学报;2007年03期

2 周鹏;曹红宝;熊屹;张爽;王明时;;一种新型拉普拉斯电极的设计及其在脑机接口中的应用[J];传感技术学报;2007年09期

3 沈广泽;司峻峰;宁新宝;;一种用于脑机接口的模式识别方法[J];北京生物医学工程;2007年06期

4 赵均榜;张智君;;基于皮层诱发电位的脑机接口研究进展[J];航天医学与医学工程;2010年01期

5 胡汉彬;祝晔;蒋田仔;;基于功能近红外光谱技术的脑机接口研究[J];生物医学工程研究;2010年01期

6 何庆华;吴海静;田逢春;冯正权;刘涛;钟美楠;王正国;;用于控制短消息发送的实时脑机接口系统[J];中国医学物理学杂志;2012年03期

7 姚林;张定国;王颖;;脑机接口控制的下肢功能性电刺激系统研究[J];中国生物医学工程学报;2012年05期

8 高海娟;徐桂芝;王磊;郭苗苗;;基于双耳分听范式的听觉脑机接口研究[J];河北工业大学学报;2013年06期

9 杨帮华,颜国正,丁国清,于莲芝;脑机接口关键技术研究[J];北京生物医学工程;2005年04期

10 邹继东;陈小平;和卫星;赵世婧;吉奕;;小波熵提取脑意识任务特征的脑机接口设计[J];中国临床康复;2006年13期

中国重要会议论文全文数据库 前10条

1 钱久超;夏斌;杨文璐;;基于P300诱发电位的脑机接口技术研究综述[A];全国第21届计算机技术与应用学术会议（CACIS·2010）暨全国第2届安全关键技术与应用学术会议论文集[C];2010年

2 ;脑机接口数据竞赛[A];首届全国功能神经影像学和神经信息学研讨会论文汇编[C];2003年

3 岳鹏;苗丹民;邱玉辉;;一种眼动型脑机接口的设计原理[A];计算机技术与应用进展——全国第17届计算机科学与技术应用（CACIS）学术会议论文集（下册）[C];2006年

4 何庆华;吴宝明;王禾;卓豫;;脑机接口视觉剌激方法实验研究[A];中国生物医学工程进展——2007中国生物医学工程联合学术年会论文集（下册）[C];2007年

5 周鹏;赵欣;葛家怡;李宁;郁洪强;王明时;;基于运动想象的脑机接口的个性化设计方法研究[A];天津市生物医学工程学会2008年年会暨首届生物医学工程与临床论坛论文集[C];2008年

6 郭苗苗;徐桂芝;王磊;王江;;基于小波变换的听觉脑机接口特征信号分析[A];天津市生物医学工程学会第三十一届学术年会论文集[C];2011年

7 贾文艳;赵香花;高小榕;高上凯;杨福生;;2003年脑机接口数据竞赛论文之五——想像左右手运动的单次脑电信号分类[A];首届全国功能神经影像学和神经信息学研讨会论文汇编[C];2003年

8 何庆华;吴宝明;王禾;钟渝;杜晓兰;彭承琳;;瞬态视觉诱发电位在脑机接口中的实验研究[A];中国生物医学工程学会第六次会员代表大会暨学术会议论文摘要汇编[C];2004年

9 高小榕;;脑机接口中的信息传输技术[A];Proceedings of the 8th Biennial Conference of the Chinese Society for Neuroscience[C];2009年

10 张少白;陈悦;;脑皮层信号ECoG在脑机接口中的应用研究[A];第25届中国控制与决策会议论文集[C];2013年

中国重要报纸全文数据库 前10条

1 本报记者 马文方;脑机接口：互联网遥远的疆界[N];中国计算机报;2010年

2 实习生 陈明立;脑机接口,开启“心灵感应”时代[N];科技日报;2010年

3 本报记者 孙燕燕;洪波：脑机接口传递思维[N];北京科技报;2010年

4 本报记者 罗朝淑;脑机接口：唤起神经康复的新希望[N];科技日报;2011年

5 记者 李鹏;“脑机接口”实验：意识控制成真[N];北京科技报;2012年

6 松鼠会;脑机接口 不只是科幻[N];科学导报;2012年

7 常丽君;脑机接口让猴子成功控制虚拟手臂[N];科技日报;2013年

8 叶平安;脑机接口：人与电脑的桥梁[N];电脑报;2014年

9 安之;未来至上在创“芯”[N];经济日报;2014年

10 记者 陈宁 通讯员 周炜 杨洋;“鼠哥”眼光出众的奥秘[N];浙江日报;2013年

  本文关键词：基于DIVA模型的汉语语音脑机接口系统的研究，由笔耕文化传播整理发布。

本文编号：328664