多模态脑机接口系统开发及应用研究

发布时间：2017-03-22 00:04

  本文关键词：多模态脑机接口系统开发及应用研究，，由笔耕文化传播整理发布。

【摘要】：脑机接口可以在人脑和外部设备之间建立直接的信息交互通道,而无需依赖外周神经和肌肉组织。脑机接口技术有着巨大的临床应用前景,是当前脑科学和信息科学领域最为热门的研究方向之一。目前大部分脑机接口的研究都是基于单一种类(单模态)脑电信号的,这种脑机接口系统控制命令个数有限,通常难以满足实际控制需求,而多模态脑机接口系统通常比仅使用一种脑电信号的脑机接口具有更高的性能。该文结合稳态视觉诱发电位、μ节律以及运动想象三种脑电信号各自的特点,设计了多模态在线脑机接口系统。文章将三种模态的脑电信号进行结合,分别用视觉诱发电位和运动想象电位控制机器人完成行走任务和抓取任务,用μ节律控制两种任务之间的切换。文章中多模态在线脑机接口系统的开发分为离线实验和在线实验两个部分。离线实验阶段实现了电极位置的优选、视觉刺激器的设计,并对脑电信号处理算法进行了深入的研究,最终选取典型相关分析和短时傅里叶变换作为在线信号处理算法用于在线控制实验。在线实验阶段,该文分别用SIGVerse仿真环境和NAO机器人作为应用平台,对三名被试者利用脑电信号控制机器人的效果进行了检验。在线实验结果表明,所有被试者都能够使用该系统控制机器人完成行走、抓取和切换任务。仿真机器人行走任务、抓取任务和切换任务控制的平均准确率分别为91.8%、100%和86.7%,NAO机器人控制对应的平均准确率分别为89%、93.3%和86.7%。综上所述,采用稳态视觉诱发电位、μ节律和运动想象三种模态脑电信号结合的方式实现脑机接口的方法是切实可行的,该多模态脑机接口系统能够实现对机器人的在线控制,并且达到了较好的控制性能。
【关键词】：脑机接口 视觉诱发 μ节律 运动想象 SIGVerse仿真平台 NAO机器人
【学位授予单位】：南开大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：R338;TN911.7
【目录】：

• 摘要4-5
• Abstract5-9
• 第一章 引言9-23
• 第一节 研究背景及意义9-10
• 第二节 脑机接口技术的研究基础10-12
• 1.2.1 脑电信号的产生及特点10
• 1.2.2 脑电信号的主要成分10-11
• 1.2.3 脑电信号的分类11-12
• 第三节 脑机接口的定义12-14
• 1.3.1 信号采集模块13
• 1.3.2 信号处理模块13-14
• 1.3.3 信号输出模块14
• 第四节 脑机接口的研究现状14-22
• 1.4.1 基于μ和β节律的脑机接口15-16
• 1.4.2 基于事件相关电位P300的脑机接口16-17
• 1.4.3 基于慢皮层电位的脑机接口17-18
• 1.4.4 基于视觉诱发电位的脑机接口18-20
• 1.4.5 多模态脑机接口20-22
• 第五节 本文的章节安排22-23
• 第二章 多模态BCI系统框架23-32
• 第一节 结构设计23-25
• 第二节 实验基本信息25-32
• 2.2.1 脑电信号采集设备25-26
• 2.2.2 电极位置选取26-28
• 2.2.3 视觉刺激器设计28-30
• 2.2.4 被试者基本信息30-31
• 2.2.5 实验环境31-32
• 第三章 离线BCI系统设计与实现32-48
• 第一节 离线数据采集32
• 第二节SSVEP特征提取32-40
• 3.2.1 叠加平均法32-34
• 3.2.2 功率谱分析34-36
• 3.2.3 典型相关分析36-39
• 3.2.4 功率谱分析和典型相关分析的比较39-40
• 第三节 μ节律和运动想象特征提取40-48
• 3.3.1 短时傅里叶变换40-42
• 3.3.2 基于STFT的μ节律、运动想象特征提取42-48
• 第四章 在线BCI仿真机器人控制系统设计与实现48-62
• 第一节 虚拟仿真平台SIGVerse49-52
• 4.1.1 SIGVerse的提出49
• 4.1.2 SIGVerse仿真原理简介49-50
• 4.1.3 SIGVerse系统架构50-51
• 4.1.4 本研究中的SIGVerse环境51-52
• 第二节 数据通信52-55
• 4.2.1 TCP/IP通信协议53
• 4.2.2 基于TCP/IP的Socket通信53-55
• 第三节 基于CCA的SSVEP在线分类55-56
• 第四节 仿真机器人运动算法设计56
• 第五节 仿真平台下的实验验证56-62
• 4.5.1 实验准备56-57
• 4.5.2 实验任务57-59
• 4.5.3 实验结果分析59-62
• 第五章 在线BCI实体机器人控制系统设计与实现62-69
• 第一节 实验平台和实验流程62-66
• 5.1.1 NAO机器人62-64
• 5.1.2 实验任务64-65
• 5.1.3 基于计算机视觉定位的抓取任务65-66
• 第二节 实验结果分析66-69
• 第六章 总结与展望69-72
• 第一节 全文总结69-70
• 第二节 工作展望70-72
• 参考文献72-76
• 致谢76-77
• 个人简历、在学期间发表的学术论文与研究成果77

【相似文献】

中国期刊全文数据库 前10条

1 奇云;李大可;;脑机接口——2012年生命科学研究的六大突破之一[J];生命世界;2013年05期

2 刘德建;李奇;;脑机接口原理及系统组成[J];科技风;2013年16期

3 胡剑锋;尹晶海;穆振东;;基于脑电的脑机接口刺激系统的研制[J];信阳师范学院学报(自然科学版);2007年03期

4 槐瑞托;杨俊卿;李东;;脑机接口中脑电信号提取方法和技术的研究进展[J];生命科学;2010年04期

5 方陵生;;脑机相连,梦想成真[J];自然与科技;2012年01期

6 ;脑机接口让猴子控制虚拟手臂助瘫痪病人恢复运动[J];黑龙江科技信息;2013年31期

7 ;通过脑电波进行3D打印[J];科学24小时;2013年10期

8 王洪涛;邹鹤良;;基于事件关联电位脑机接口的电视遥控异步系统[J];控制理论与应用;2012年11期

9 李文石;钱重阳;李雷;魏锋;;让耳朵说话:基于单通道耳穴近红外谱的脑机接口(英文)[J];南京大学学报(自然科学版);2012年05期

10 黄志华;;脑机接口的MapReduce计算模型[J];福州大学学报(自然科学版);2013年06期

中国重要会议论文全文数据库 前10条

1 钱久超;夏斌;杨文璐;;基于P300诱发电位的脑机接口技术研究综述[A];全国第21届计算机技术与应用学术会议（CACIS·2010）暨全国第2届安全关键技术与应用学术会议论文集[C];2010年

2 ;脑机接口数据竞赛[A];首届全国功能神经影像学和神经信息学研讨会论文汇编[C];2003年

3 岳鹏;苗丹民;邱玉辉;;一种眼动型脑机接口的设计原理[A];计算机技术与应用进展——全国第17届计算机科学与技术应用（CACIS）学术会议论文集（下册）[C];2006年

4 何庆华;吴宝明;王禾;卓豫;;脑机接口视觉剌激方法实验研究[A];中国生物医学工程进展——2007中国生物医学工程联合学术年会论文集（下册）[C];2007年

5 周鹏;赵欣;葛家怡;李宁;郁洪强;王明时;;基于运动想象的脑机接口的个性化设计方法研究[A];天津市生物医学工程学会2008年年会暨首届生物医学工程与临床论坛论文集[C];2008年

6 郭苗苗;徐桂芝;王磊;王江;;基于小波变换的听觉脑机接口特征信号分析[A];天津市生物医学工程学会第三十一届学术年会论文集[C];2011年

7 贾文艳;赵香花;高小榕;高上凯;杨福生;;2003年脑机接口数据竞赛论文之五——想像左右手运动的单次脑电信号分类[A];首届全国功能神经影像学和神经信息学研讨会论文汇编[C];2003年

8 何庆华;吴宝明;王禾;钟渝;杜晓兰;彭承琳;;瞬态视觉诱发电位在脑机接口中的实验研究[A];中国生物医学工程学会第六次会员代表大会暨学术会议论文摘要汇编[C];2004年

9 高小榕;;脑机接口中的信息传输技术[A];Proceedings of the 8th Biennial Conference of the Chinese Society for Neuroscience[C];2009年

10 张少白;陈悦;;脑皮层信号ECoG在脑机接口中的应用研究[A];第25届中国控制与决策会议论文集[C];2013年

中国重要报纸全文数据库 前10条

1 本报记者 罗朝淑;脑机接口：唤起神经康复的新希望[N];科技日报;2011年

2 常丽君;脑机接口让猴子成功控制虚拟手臂[N];科技日报;2013年

3 叶平安;脑机接口：人与电脑的桥梁[N];电脑报;2014年

4 本报记者 马文方;脑机接口：互联网遥远的疆界[N];中国计算机报;2010年

5 实习生 陈明立;脑机接口,开启“心灵感应”时代[N];科技日报;2010年

6 本报记者 孙燕燕;洪波：脑机接口传递思维[N];北京科技报;2010年

7 记者 李鹏;“脑机接口”实验：意识控制成真[N];北京科技报;2012年

8 松鼠会;脑机接口 不只是科幻[N];科学导报;2012年

9 安之;未来至上在创“芯”[N];经济日报;2014年

10 记者 陈宁 通讯员 周炜 杨洋;“鼠哥”眼光出众的奥秘[N];浙江日报;2013年

中国博士学位论文全文数据库 前10条

1 赵慧霞;蜜蜂（Apis mellifera L.）脑机接口的飞行控制神经机理研究[D];浙江大学;2014年

2 王洪涛;混合脑机接口实现及其应用研究[D];华南理工大学;2015年

3 汪芳;基于强化学习的植入式脑机接口神经信息解码：算法设计及应用[D];浙江大学;2015年

4 张瑞;面向重度残疾人的脑机接口功能辅助研究[D];华南理工大学;2016年

5 姚林;刺激辅助的脑电信号特征增强方法与混合式脑机接口[D];上海交通大学;2015年

6 刘伯强;脑机接口分类算法及实验研究[D];天津大学;2005年

7 余天佑;多模态与多自由度脑机接口研究[D];华南理工大学;2013年

8 吴正华;稳态视觉诱发电位在脑机接口及认知过程中的应用研究[D];电子科技大学;2008年

9 程明;基于脑电信号的脑—计算机接口的研究[D];清华大学;2004年

10 龙锦益;脑信号分析的算法研究与多模态脑机接口[D];华南理工大学;2012年

中国硕士学位论文全文数据库 前10条

1 吴俊;EEG-fMRI混合脑机接口去噪及信号源定位技术研究[D];华南理工大学;2015年

2 孙锴;灵长类动物脑机交互计算标准化平台的设计与实现[D];浙江大学;2016年

3 李椋;基于实时功能磁共振成像的脑机接口技术研究[D];解放军信息工程大学;2014年

4 徐国强;基于非平衡处理的P300脑机接口研究[D];南京大学;2014年

5 林勤光;基于稳态视觉诱发电位和错误相关负电位的脑机接口系统研究[D];浙江理工大学;2016年

6 佘熙玮;非线性UKF算法的实现及其在运动轨迹解码中的应用[D];浙江大学;2016年

7 王舒欢;基于运动想象的脑机接口研究[D];天津工业大学;2016年

8 马健楠;脑神经信号实时处理系统平台软件研发[D];浙江大学;2016年

9 陆盛林;基于脑机接口的虚拟现实三维目标的控制研究及应用[D];华南理工大学;2016年

10 刘博元;基于消费级脑机接口和脑电神经反馈的交互式电子音乐作品《思考之声》[D];上海师范大学;2016年

  本文关键词：多模态脑机接口系统开发及应用研究，由笔耕文化传播整理发布。

本文编号：260501