混合脑机接口实现及其应用研究

发布时间：2017-07-14 07:12

  本文关键词：混合脑机接口实现及其应用研究

  更多相关文章： 混合脑机接口 运动想象 事件关联电位 相关向量机 降噪自编码

【摘要】：本文主要内容为混合脑机接口实现及其应用研究,包括在线脑机接口系统设计和脑电信号分析方法研究两大主要部分。研究过程中实现了脑机接口系统从离线到在线系统的跨越,完成了三个在线脑机接口算法与实时在线系统设计,包括基于事件关联电位脑机接口的电视遥控异步系统、基于语音与脑电协同控制的轮椅、基于脑电-眼电控制的混合脑机接口系统。特别是针对目前运动想象脑机接口无法实现多自由控制为突破口,提出持续-轻快运动想象脑机接口新范式,并对其采用二级控制模式获取离散指令和连续指令,以突破传统运动想象脑机接口无法实现多自由控制的限制;进一步采用异步协议参与调控分类器的输出,实现运动想象脑机接口的异步控制,脑机接口异步控制的实现可以克服同步脑机接口系统实时性差、错误触发的缺陷,为脑机接口实用化迈出坚实的一步。具体表现为:第一,设计了基于事件关联电位脑机接口的电视遥控异步系统,包括脑电信号预处理、特征提取、分类识别实时算法,开发了具有通讯功能的遥控器,实现了脑机接口电视遥控异步系统。受试者可以利用脑电波来遥控电视选择频道和调整音量,这为重症瘫痪病人拓展其与自然的直接交流开辟了新的通道。5位健康的受试者参与了训练实验和在线实验,实验结果表明经过特定的训练,受试者均可有效控制该脑机接口电视遥控系统,其统计平均准确率达87%,平均传输速率(Information Transfer Rate,ITR)达35 bits/min,满足了系统实时性的需求。第二,我们提出了一个基于脑机接口和语音识别的混合脑机接口控制策略,并成功应用于轮椅协同控制。通过执行相关的活动,受试者可以在轮椅上实现四个控制行为(启动、停止、右转、左转)。五位健康的受试者参与室内实验,实验结果表明:通过混合脑机接口的协调控制机制,取得了较高的最优路径比和最优时间比,同时也显示了语音识别是脑机接口的一个有价值的补充(快速、准确),可用于辅助脑机接口控制系统,该智能轮椅目标群体为能主动发出单音(如:“啊”)的失语瘫痪患者。此外,我们还提出了一种基于超声波传感器的辅助避障方法,设计了多路超声波传感器避障系统和避障提示反馈界面。用户可借助反馈界面上实时提示的信息做出有效的避障决策。若无法成功避障,轮椅控制系统则立即启动紧急停车功能,避免与其它障碍物发生碰撞,以保证脑控轮椅及用户的安全。第三,为满足轮椅多自由度、实时性强的实际控制需求,提出融合事件关联电位(Event Related Potential,ERP)、运动想象(Motor Imagery,MI)和眨眼的混合脑机接口范式,该混合脑机接口集成了事件关联电位识别准确率高,运动想象及眨眼识别速度快优点,可有效克服单模态脑机接口的不足。由于混合脑机接口所选特征相互独立,采用并行算法实时处理,将明显提高系统整体信息传输率。这恰好可以满足轮椅多自由度、实时控制的需要,为多自由度控制系统研究开拓了新的途径。通过执行相关的意识任务,用户可以控制轮椅实现七个操作行为。四位健康的受试者参与了实验,实验结果不仅表明脑控轮椅系统本身的可操作性,鲁棒性,同时也进一步表明,该轮椅完全由受试者脑电自主控制,而不要借助其他辅助设备(如:自动导航系统)。第四,提出了一种时-空-频运动想象脑电数据分析方法,通过训练集数据交叉验证,筛选出与受试者匹配的时间窗与频带,进一步懫用共空域模式算法进行空间滤波和特征提取,最后采用相关向量机分类。通过对BCI Competition III Data IVa(Motor Imagery,Small Training Sets)进行测试,其平均分类准确为90.28%,为运动想象脑电信号两分类在线算法研究提供了一种新方法。此外针对事件关联电位,利用BCI competition III Data set II:(P300 Speller Paradigm)数据,提取8通道脑电信号,组成数据集和测试集。采用随机初始化和去噪自编码初始化两种方法初始化神经网络,实验结果表明:七项评估指标均较为理想,同时也验证了降噪自编码初始化比随机初始化效果要更好。以识别准确率(Recognition Rate)一项指标说明,采用随机初始化:受试者A,B分别为93.9%,94.1%;采用降噪自编码初始化:受试者A,B分别为95.4%,96.1%。本文研究的开展可望为脑机接口多自由度实时控制的研究开拓新的途径,为延伸和提高人类行为控制能力提供新技术。
【关键词】：混合脑机接口 运动想象 事件关联电位 相关向量机 降噪自编码
【学位授予单位】：华南理工大学
【学位级别】：博士
【学位授予年份】：2015
【分类号】：R338;TN911.7
【目录】：

• 摘要5-7
• Abstract7-12
• 第一章 绪论12-38
• 1.1 研究背景与意义12-13
• 1.2 国内外现状13-15
• 1.3 脑机接口系统原理15-16
• 1.3.1 国际10-20系统15-16
• 1.3.2 单极导联与双极导联16
• 1.4 脑机接口分类与特点16-18
• 1.5 脑电信号处理常用方法18-25
• 1.5.1 预处理18-19
• 1.5.2 特征提取19-21
• 1.5.3 分类识别21-25
• 1.6 神经网络脑电信号处理方法25-29
• 1.6.1 BP-Adaboost25-26
• 1.6.2 深度神经网络结构26-29
• 1.7 脑机接口的评价标准29-31
• 1.7.1 混淆矩阵29-30
• 1.7.2 分类准确率30
• 1.7.3 信息传输速率30
• 1.7.4 受试者工作特征曲线30-31
• 1.7.5 相关系数31
• 1.8 典型脑机接口及系统31-35
• 1.8.1 基于事件关联电位的脑机接口31
• 1.8.2 基于SSVEP的脑机接口31-32
• 1.8.3 混合脑机接口32
• 1.8.4 基于P300和运动想象的二维光标32-33
• 1.8.5 基于P300和自动导航的轮椅33
• 1.8.6 脑机接口鼠标控制的网页浏览器33-34
• 1.8.7 基于运动想象的四旋翼飞行器34-35
• 1.9 本文的主要研究内容及组织结构35-38
• 第二章 基于事件关联电位脑机接口的电视遥控异步系统38-48
• 2.1 系统组成38-39
• 2.2 用户界面39-40
• 2.3 脑电信号实时处理算法40-41
• 2.4 遥控器硬件设计41
• 2.5 系统实验41-43
• 2.5.1 实验准备41-42
• 2.5.2 训练实验42-43
• 2.5.3 评估实验43
• 2.6 数据分析与结果43-46
• 2.6.1 分类器选择43-44
• 2.6.2 循环次数与识别准确率的关系44-45
• 2.6.3 导联选择45-46
• 2.7 本章小结46-48
• 第三章 基于脑电与单音协同控制的轮椅控制系统及其辅助避障设计48-60
• 3.1 引言48-49
• 3.2 系统概述49-55
• 3.2.1 脑电信号数据采集50
• 3.2.2 轮椅通讯模块硬件设计50-51
• 3.2.3 非特定人孤词识别51-52
• 3.2.4 用户界面52
• 3.2.5 协同控制机制52-55
• 3.3 实验与结果分析55-56
• 3.4 超声波辅助避障56-57
• 3.4.1 辅助避障方法57
• 3.4.2 反馈界面57
• 3.5 本章小结57-60
• 第四章 基于脑电-眼电的混合脑机接口轮椅控制系统60-78
• 4.1 引言60-61
• 4.2 脑控轮椅结构61-67
• 4.2.1 脑电信号采集62
• 4.2.2 用户界面62-63
• 4.2.3 通讯模块63
• 4.2.4 眼电-脑电混合脑机接口63-67
• 4.3 实验设计及实验结果67-74
• 4.3.1 系统校准68-70
• 4.3.2 前进,后退,停止评估实验70-72
• 4.3.3 轮椅性能综合实验72-74
• 4.4 讨论74-76
• 4.5 本章小结76-78
• 第五章 脑电信号分析方法研究78-96
• 5.1 基于时-空-频联合选择的运动想象相关向量机分析方法78-83
• 5.1.1 被试、实验范式和数据采集79
• 5.1.2 数据预处理79-80
• 5.1.3 时间窗与频带优化80
• 5.1.4 空间滤波与特征提取80-81
• 5.1.5 分类器81-83
• 5.2 实验结果83-86
• 5.2.1 实验分析83-86
• 5.3 基于降噪自编码神经网络的事件关联电位分析方法86-95
• 5.3.1 被试、实验范式和数据采集86-87
• 5.3.2 数据预处理87-88
• 5.3.3 神经网络结构及初始化88-89
• 5.3.4 神经网络训练与分类89-91
• 5.3.5 实验结果91-92
• 5.3.6 实验分析92-95
• 5.4 本章小结95-96
• 第六章 总结与展望96-98
• 6.1 总结96-97
• 6.2 展望97-98
• 参考文献98-114
• 攻读博士学位期间取得的研究成果114-116
• 致谢116-117
• 答辩委员会对论文的评定意见117

【相似文献】

中国期刊全文数据库 前10条

1 柯大观;童勤业;;排列复杂性度量应用于脑机接口信号分析[J];传感技术学报;2007年03期

2 周鹏;曹红宝;熊屹;张爽;王明时;;一种新型拉普拉斯电极的设计及其在脑机接口中的应用[J];传感技术学报;2007年09期

3 沈广泽;司峻峰;宁新宝;;一种用于脑机接口的模式识别方法[J];北京生物医学工程;2007年06期

4 赵均榜;张智君;;基于皮层诱发电位的脑机接口研究进展[J];航天医学与医学工程;2010年01期

5 胡汉彬;祝晔;蒋田仔;;基于功能近红外光谱技术的脑机接口研究[J];生物医学工程研究;2010年01期

6 何庆华;吴海静;田逢春;冯正权;刘涛;钟美楠;王正国;;用于控制短消息发送的实时脑机接口系统[J];中国医学物理学杂志;2012年03期

7 姚林;张定国;王颖;;脑机接口控制的下肢功能性电刺激系统研究[J];中国生物医学工程学报;2012年05期

8 高海娟;徐桂芝;王磊;郭苗苗;;基于双耳分听范式的听觉脑机接口研究[J];河北工业大学学报;2013年06期

9 杨帮华,颜国正,丁国清,于莲芝;脑机接口关键技术研究[J];北京生物医学工程;2005年04期

10 邹继东;陈小平;和卫星;赵世婧;吉奕;;小波熵提取脑意识任务特征的脑机接口设计[J];中国临床康复;2006年13期

中国重要会议论文全文数据库 前10条

1 钱久超;夏斌;杨文璐;;基于P300诱发电位的脑机接口技术研究综述[A];全国第21届计算机技术与应用学术会议（CACIS·2010）暨全国第2届安全关键技术与应用学术会议论文集[C];2010年

2 ;脑机接口数据竞赛[A];首届全国功能神经影像学和神经信息学研讨会论文汇编[C];2003年

3 岳鹏;苗丹民;邱玉辉;;一种眼动型脑机接口的设计原理[A];计算机技术与应用进展——全国第17届计算机科学与技术应用（CACIS）学术会议论文集（下册）[C];2006年

4 何庆华;吴宝明;王禾;卓豫;;脑机接口视觉剌激方法实验研究[A];中国生物医学工程进展——2007中国生物医学工程联合学术年会论文集（下册）[C];2007年

5 周鹏;赵欣;葛家怡;李宁;郁洪强;王明时;;基于运动想象的脑机接口的个性化设计方法研究[A];天津市生物医学工程学会2008年年会暨首届生物医学工程与临床论坛论文集[C];2008年

6 郭苗苗;徐桂芝;王磊;王江;;基于小波变换的听觉脑机接口特征信号分析[A];天津市生物医学工程学会第三十一届学术年会论文集[C];2011年

7 贾文艳;赵香花;高小榕;高上凯;杨福生;;2003年脑机接口数据竞赛论文之五——想像左右手运动的单次脑电信号分类[A];首届全国功能神经影像学和神经信息学研讨会论文汇编[C];2003年

8 何庆华;吴宝明;王禾;钟渝;杜晓兰;彭承琳;;瞬态视觉诱发电位在脑机接口中的实验研究[A];中国生物医学工程学会第六次会员代表大会暨学术会议论文摘要汇编[C];2004年

9 高小榕;;脑机接口中的信息传输技术[A];Proceedings of the 8th Biennial Conference of the Chinese Society for Neuroscience[C];2009年

10 张少白;陈悦;;脑皮层信号ECoG在脑机接口中的应用研究[A];第25届中国控制与决策会议论文集[C];2013年

中国重要报纸全文数据库 前10条

1 本报记者 罗朝淑;脑机接口：唤起神经康复的新希望[N];科技日报;2011年

2 常丽君;脑机接口让猴子成功控制虚拟手臂[N];科技日报;2013年

3 叶平安;脑机接口：人与电脑的桥梁[N];电脑报;2014年

4 本报记者 马文方;脑机接口：互联网遥远的疆界[N];中国计算机报;2010年

5 实习生 陈明立;脑机接口,开启“心灵感应”时代[N];科技日报;2010年

6 本报记者 孙燕燕;洪波：脑机接口传递思维[N];北京科技报;2010年

7 记者 李鹏;“脑机接口”实验：意识控制成真[N];北京科技报;2012年

8 松鼠会;脑机接口 不只是科幻[N];科学导报;2012年

9 安之;未来至上在创“芯”[N];经济日报;2014年

10 记者 陈宁 通讯员 周炜 杨洋;“鼠哥”眼光出众的奥秘[N];浙江日报;2013年

中国博士学位论文全文数据库 前10条

1 赵慧霞;蜜蜂（Apis mellifera L.）脑机接口的飞行控制神经机理研究[D];浙江大学;2014年

2 王洪涛;混合脑机接口实现及其应用研究[D];华南理工大学;2015年

3 刘伯强;脑机接口分类算法及实验研究[D];天津大学;2005年

4 余天佑;多模态与多自由度脑机接口研究[D];华南理工大学;2013年

5 吴正华;稳态视觉诱发电位在脑机接口及认知过程中的应用研究[D];电子科技大学;2008年

6 程明;基于脑电信号的脑—计算机接口的研究[D];清华大学;2004年

7 龙锦益;脑信号分析的算法研究与多模态脑机接口[D];华南理工大学;2012年

8 朱丹华;基于稳态视觉诱发电位相位的脑机接口研究[D];浙江大学;2011年

9 何庆华;基于视觉诱发电位的脑机接口实验研究[D];重庆大学;2003年

10 吴边;基于脑电节律特征优化与同步性的运动意愿解析[D];浙江大学;2011年

中国硕士学位论文全文数据库 前10条

1 李佳乘;基于稳态视觉诱发电位脑机接口系统的脑信号处理与研究[D];华南理工大学;2015年

2 张锦涛;P300脑机接口的在线半监督学习算法与系统研究[D];华南理工大学;2015年

3 吴俊;EEG-fMRI混合脑机接口去噪及信号源定位技术研究[D];华南理工大学;2015年

4 赵萍萍;基于伪随机序列的彩色视觉刺激的脑机接口系统[D];苏州大学;2015年

5 张玉霞;基于P300和SSVEP的混合型脑机接口的分析与研究[D];山东大学;2015年

6 刘杨;脑机接口信号的多模式识别融合技术研究[D];重庆理工大学;2015年

7 贵照众;流程可配置分布式运动脑机接口计算平台的研究与实现[D];浙江大学;2015年

8 马超;基于单通道脑机接口的嵌入式智能轮椅控制系统研究[D];广西大学;2015年

9 李茂全;基于VEP的脑机接口系统设计与研究[D];南昌大学;2015年

10 赵淑菊;基于脑机接口车辆目的地选择系统的性能测试和影响因素分析[D];北京理工大学;2015年

，

本文编号：540121