基于mVEP和MI多模态脑机接口的关键技术研究

发布时间：2020-07-09 15:37

【摘要】：多模态脑机接口(Brain compter interface,BCI)是当前脑机接口的研究重点方向之一。多模态BCI通过不同单模态BCI的组合可以弥补单模态BCI的一些缺陷,从而能够从灵活性或效率方面来提升BCI系统的性能。本文利用两种不同源的单模态BCI信号的融合,实现了一种新的多模态BCI系统。所选择的单模态信号分别是运动想象和运动起始视觉诱发电位,其中运动想象属于被试的自发型信号,而运动起始视觉诱发电位属于外界诱发型信号。自发型BCI不需要通过外部刺激只需被试进行自主意志的想象就可以完成控制。而对于诱发型BCI则需要外部刺激而不需要被试进行自主意志的想象。正是利用这两类BCI范式的信号机理的不同,本文将他们进行信息融合,让被试同时进行两种不同的任务,来实现能够同时执行这两种单模态任务的多模态BCI系统,从而获得灵活高效的控制。同时,由于运动起始视觉诱发电位BCI的刺激方式较为柔和、不易引起被试的疲劳和不适,所以本文设计的多模态BCI系统在操作感受上具有较为舒适的优势。然而由于多模态BCI同样也面临着与单模态BCI所面临的同样的如:背景噪声干扰、脑电信号平稳性等诸多因素的限制,为了进一步实现整个多模态BCI系统的性能提升,本论文对构成多模态系统的单模态BCI系统的性能分别进行优化了提升。本文研究的主要内容如下:1.将MI(运动想象)和mVEP(运动起始视觉诱发电位)两个单模态信息进行了融合,发展了一种新的混合BCI系统,实现了更高效的光标二维运动控制。所进行的多模态任务显示了本文提出的混合BCI系统可以同时诱发出所期望的MI和mVEP信号特征,两者与单模态BCI任务中所引发的特征非常接近。此外,在线二维运动控制实验的结果也显示出,所提出的混合BCI系统可以提供更有效和自然的控制命令。这些结果证实了我们所提出的混合BCI系统的可行性,并且相比单模态BCI系统可以实现更为高效的二维运动控制。2.针对组成多模态系统中的mVEP特征的有效提取,将深度学习方法与压缩感知方法进行了结合,提出了一种新的特征提取方法,以便挖掘更有差别性的mVEP特征从而提高mVEP BCI的性能。我们利用实验室真实数据对该方法与传统的基于幅度的mVEP特征提取方法进行了对比。可以验证深度学习和压缩感知结合的特征提取方法能够更有效地提取mVEP特征,从而显著的提升相应识别mVEP脑机接口系统的识别准确率。3.为了实现对组成多模态系统中的mVEP模态信息进行有效的在线更新学习,提出了一种基于mVEP信号BCI自适应校准框架。该框架的核心是将支持向量机(SVM)和模糊C均值聚类(fCM)进行多模态信息融合,挖掘出新样本里面的可靠信息,以进行自适应地更新训练集,从而能够有效地跟踪被试变化的状态。我们利用实验室真实数据对该自适应校准框架进行了验证,相比传统的CSP方法和单种方法的校正方法基于SVM与fCM进行组合的自适应校准框架都有最好的分类效果,这些结果体现出我们提出的自适应校准框架的有效性和高效性。4.针对组成多模态系统中的MI特征的有效提取,采用半监督的思想对CDBN特征提取方法进行改进,提出了一个用于左、右手MI任务分类问题的新的特征提取方法SSL-CDBN。在该方法中,我们在原有的无监督训练中补充了样本的标签信息,但是并非直接利用标签,而是利用标签样本的聚类信息来避免对标签信息的过分依赖,从而避免了因此造成的网络泛化能力受限。我们利用实验室真实数据评估了所提出的SSL-CDBN方法用在跨被试分类问题中的潜力,结果表明在无训练情况下,SSL-CDBN方法得到的平均准确率分别比CSP和CDBN方法提高了4.1%和3.0%,又从分组被试数据的验证中可以看到SSL-CDBN方法对于较差BCI表现组的被试有更好的提升效果,这在脑机接口的应用中有潜在的价值。这些结果都表明SSL-CDBN方法能够基于已有被试的信息,有效的提取到新被试MI数据中具有两类差异性结构的特征,能够有效的提升MI-BCI的性能,显著降低被试进行MI脑机接口的训练负担。综上所述,本文提出、实现了一套基于MI和mVEP结合的混合BCI系统。然后从组成多模态系统的各单模态BCI研究入手,改进并提出了对于这些单模态BCI更为稳定和有效的特征提取与识别方法,从而为进一步提高多模态脑机接口的性能提供了必要的技术基础。
【学位授予单位】：电子科技大学
【学位级别】：博士
【学位授予年份】：2018
【分类号】：TN911.7;R318.04
【图文】：

示意图,系统框架,大脑

采集部分、信号分析处理部分和刺激与反馈部分。其中信号分析处理部分又包含特征提取和模式分类两个子部分。其示意图如图 1-1 所示。第一部分用来记录大脑神经活动的信号，这是第二部分进行的基础。目前各研究机构通常采用脑磁图(Magnetoencephalography ， MEG)[7]、功能磁共振 (functional Near-InfrareSpectroscopy，fNIRS)[8]和脑电放大器[9]等设备来采集记录脑信号。对于一个具有正常生命体征的个体来说，即使处于沉睡中，其大脑也是处于活动中的[10]，只是有强弱之分，而被试的意图便是隐藏在这大量的自发脑电活动信号当中。特征提取部分的功能便是从采集到的脑电信号中提取出能够有效表达被试意图的特征信号。而后进入模式分类过程，以对特征信后进行处理，从而识别出被试的真正意图。而刺激与反馈模块主要存在于通过外部刺激来诱发特定脑电信号的 BCI 系统如听觉、视觉刺激[11]等。这部分的主要功能在于将上一部分模式分类的识别结果及时反馈给被试，以便被试在大脑中形成一定的思维模式。而与 BCI 系统联接的可以是计算机本身也可以是其他诸如轮椅等外部设备，这样 BCI 系统在四肢活动等受限的残疾人士和外界之间构建了一个沟通和交流的渠道，在一定程度上便利和丰富了这类人群的社会生活。

方式,参与者,右脑半球,幅度特征

作为 mVEP 信号主要识别特征的 N2 成分(常见于 160 至 200ms 范要与顶叶、颞叶和枕叶这些脑区的神经活动有关，这些体现了大脑对于的整合与加工的机制[72]。而左脑半球呈现的 N2 的幅度与右脑半球呈现的幅度，也存在着很大不同。文献[73]发现，在所有参与实验的被试中，大的参与者表现出左脑半球呈现出更高的 N2 幅度特征，而这样的一个差异并非源于参与者习惯使用右手还是习惯使用左手。相比 P1 和 N2，P2 成时间稍微晚些，大约在 240ms 左右，主要位于顶区至中央区之间。研究度和来自外界的视觉刺激所具有的复杂性有一定的正比关系[71]。对于 mVEP 的诱发方式来说，如 1.2.6 节所述，其既不需要像 SSVEP 一烁刺激的方式，也不需要像 P300 那样对刺激呈现方式的要求，而仅采用速启动这种柔和的刺激方式便可以实现，这极大的提高了参与者在实验观感受的舒适度，也大大降低了诱发癫痫等疾病的概率。根据定义可知，mVEP 信号可以由任意的运动快速启动方式实现。但是研同的刺激方式所产生的信号特征是不同的[74]，现将常见的 4 种诱发方式：

示意图,界面,示意图,参与者

图 1-3 实验中的 mVEP 刺激界面示意图-3 为实验过程中所采用的 mVEP 信号的刺激界面。从中可以看出，3含一条向左移动的红色线条，而移动的时间被设定为 140ms。参与者注视对应的滑动框，当红色线条出现之时，参与者对应部位的电极应的脑电信号。，对于 mVEP-BCI 的相关研究成果还不是很多，最早由 Guo 团队于 mVEP-BCI 系统[75]，他们设计的刺激范式能够诱发出稳定的 mVEP hang 等提出了一种利用 mVEP 三个主要成分的幅度建立的动态叠加EP-BCI 系统[76]，其能够有效提升 mVEP-BCI 系统的信息传输率。脑机接口研究现状来，混合 BCI(hybrid-BCI)受到越来越多的关注，混合 BCI 又称多ti-modal-BCI)是由两种或两种以上的单模态 BCI 系统组合而成。相比多模态 BCI 具有明显优势。单模态 BCI 在不同程度上都存在一些不

【相似文献】