基于汉字的多模态脑机交互技术研究

发布时间：2017-06-22 08:05

  本文关键词：基于汉字的多模态脑机交互技术研究，由笔耕文化传播整理发布。

【摘要】：人机交互是一种研究人与系统(包括计算机以及机械设备等)信息交换的技术。脑机接口属于一种新型人机交互方式,它不依赖于正常的外周神经和肌肉组织,为大脑和外部设备建立了一条直接的通信渠道。目前脑机接口的主要信号为脑电信号,该信号来自非植入式的采集设备,具有成本低廉、操作方便和无损伤等优点。本文针对基于自发脑电信号的脑机接口进行了深入的研究,在充分分析离线实验数据的基础上,构建了在线脑机接口训练系统,有效地提高了脑电信号的识别率。在自发脑电信号的基础上设计了基于汉字默读的语言想象脑机接口,对14位受试者进行离线试验以采集脑电信号。采用事件相关谱扰动时频分析算法为每位受试者确定合适的滤波范围。根据该滤波范围计算每个电极的事件相关(去)同步化。实验结果表明汉字默读与运动想象类似,也会诱导脑电信号在特定大脑皮层发生事件相关(去)同步化现象。通过等效偶极子源定位计算脑电信号的空间源分布,使用事件相关谱扰动图判断与汉字默读相关的偶极子。采用共空间模式作为特征提取的算法,两个汉字默读各自相对空闲状态的特征向量通过支持向量机分类后的结果分别为81.3%和81.4%。共空间模式易受到噪声的干扰,通过优化滤波范围后两者的分类准确率分别提高到83.5%和83.1%。为了提高自发脑电信号的稳定性,设计了附加语言想象的意识任务多模态脑机接口。对10位受试者进行了两个离线子实验：第一个为附加语言想象的意识任务；第二个为单一的意识任务。从频率、时间和空间三个角度来分析这两个子实验脑电信号的稳定性,分析方法分别为自回归功率谱密度、克隆巴赫α系数和共空间模式空间滤波。结果表明附加语言想象的意识任务所产生的信号更具有稳定性。两段想象期的信号分别与空闲期的信号相比较的分类结果在附加了语言想象后分别提高了4.2%和7.2%,两段想象期之间的准确率也提高了6.0%。为了进一步提高不同意识任务间脑电信号的分类准确率,提出了基于互信息的时间-频率范围选择模型。在优化信号的时间-频率范围后,平均准确率提高了2.8%。针对运动想象脑机接口的操作维数数量有限,且维数较多时需要长期的训练才能获得满意的结果。将语言想象与左右手运动想象相结合,组成具有三维操作的多模态脑机接口。通过事件相关谱扰动图分析每个电极的EEG信号在这三种想象中的时间和频率特征,发现这些想象所诱导的信号在不同电极上可产生不同的能量变化。共空间模式算法按照一对一的计算模型扩展为三分类算法,并将其提取的能量特征与互相关方程和相位锁定值分别计算的同步化特征相结合以改善分类准确率。提出两类意识任务同步化差异最大的方法来选择同步化计算所用的电极对。10位受试者的实验结果为：语言想象的分类准确率最高(74.3%),其次为左手运动想象(71.4%),最后为右手运动想象(69.8%)。目前脑机接口的反馈训练主要针对运动想象实验范式所开展,本文在语言想象离线实验数据分析的基础上设计了基于语言想象的在线脑机接口训练系统。训练系统的硬件设备为Quik-Cap脑电帽、Neuroscan SynAmps 2系统和台式计算机,并联合SCAN4.5、BCI2000和Matlab作为训练系统的软件平台。在线训练所用的两个电极来自Fisher准则函数。预处理所用的滤波范围来自离线实验数据的时频分析。特征提取采用方差和功率谱密度这两种方式。分类器为计算速度更快的极限学习机。特征向量和分类模型随着训练的进行不断更新,这保证了算法的自适应性。通过两步决策融合来决定反馈的结果,该方法具有更强的抗干扰性和鲁棒性。6位受试者经过4次训练后的结果表明：通过一定的反馈训练可帮助他们更好地操作脑机接口系统,其中第二、三和四次训练的结果分别比第一次提高了7.1%、7.8%和7.3%。综上所述,本文以基于汉字默读的语言想象为起点,将语言想象扩展为两类多模态脑机接口；从频率、时间和空间三个角度分析了这三类系统中脑电信号的产生机理和表现形式；在离线数据分析的基础上研究了脑电信号的特征提取和分类算法,为脑机接口系统的建立提供了算法上的支持；分析了基于语言想象的脑机接口在反馈训练后的效果,为脑机接口系统的实际应用打下了基础。
【关键词】：脑机接口 汉字 意识任务 运动想象 多模态
【学位授予单位】：东南大学
【学位级别】：博士
【学位授予年份】：2015
【分类号】：R318;TN911.7
【目录】：

• 摘要4-6
• Abstract6-10
• 第一章 绪论10-30
• 1.1 脑机接口的研究概况10-14
• 1.1.1 脑机接口的研究背景10-13
• 1.1.2 脑机接口类型及特点13-14
• 1.2 国内外脑机接口的研究现状14-18
• 1.2.1 国外脑机接口研究现状14-16
• 1.2.2 国内脑机接口研究现状16-18
• 1.3 脑机接口系统存在的问题及研究思路18-21
• 1.3.1 脑机接口系统的问题18-19
• 1.3.2 脑机接口系统的研究思路19-21
• 1.4 论文研究的目的和意义21-22
• 1.5 论文主要结构和创新点22-24
• 1.6 参考文献24-30
• 第二章 脑机接口系统的研究基础30-48
• 2.1 脑电信号的采集30-32
• 2.2 脑电节律32-34
• 2.3 脑机接口系统中的信号类型及处理方法34-44
• 2.3.1 不同类型的脑电信号在脑机接口的应用34-39
• 2.3.2 脑电信号的特点39-40
• 2.3.3 事件相关去同步化和同步化40-42
• 2.3.4 脑电信号分析方法42-44
• 2.4 本章小结44
• 2.5 参考文献44-48
• 第三章 基于汉字默读的语言想象脑机接口48-72
• 3.1 引言48-49
• 3.2 实验设计与数据采集49-51
• 3.3 特征提取和分类51-65
• 3.3.1 事件相关谱扰动51-55
• 3.3.2 共空间模式55-56
• 3.3.3 支持向量机56-60
• 3.3.4 分类结果60-65
• 3.4 语言想象脑电信号空间源定位分析65-69
• 3.4.1 独立分量分析65-66
• 3.4.2 等效偶极子源定位分析66-68
• 3.4.3 分析结果68-69
• 3.5 本章小结69-70
• 3.6 参考文献70-72
• 第四章 附加语言想象的意识任务多模态脑机接口72-94
• 4.1 引言72
• 4.2 实验设计与数据采集72-74
• 4.3 脑电信号稳定性分析74-83
• 4.3.1 频率稳定性评价方法75-77
• 4.3.2 时间稳定性评价方法77
• 4.3.3 稳定性分析结果77-83
• 4.4 基于互信息的时间-频率范围选择83-87
• 4.4.1 基于互信息的特征选择83-84
• 4.4.2 时间-频率范围选择方法和结果84-87
• 4.5 讨论87-90
• 4.6 本章小结90
• 4.7 参考文献90-94
• 第五章 基于语言想象和运动想象的多模态脑机接口94-114
• 5.1 引言94
• 5.2 运动想象生理基础94-96
• 5.3 实验设计与数据采集96-97
• 5.4 多模态脑电信号处理97-110
• 5.4.1 脑电信号的同步化计算98-102
• 5.4.2 多类CSP算法102-103
• 5.4.3 多模态脑电信号处理模型103-104
• 5.4.4 分析结果104-110
• 5.5 本章小结110
• 5.6 参考文献110-114
• 第六章 基于语言想象的在线脑机接口训练系统114-130
• 6.1 在线BCI训练系统的设计114-117
• 6.2 训练系统的信号处理算法117-125
• 6.2.1 基于Fisher准则函数的电极选择118-120
• 6.2.2 极限学习机120-123
• 6.2.3 训练系统算法的总体框架123-125
• 6.3 训练结果125-127
• 6.4 本章小结127
• 6.5 参考文献127-130
• 第七章 总结和展望130-134
• 7.1 总结130-132
• 7.2 展望132-134
• 致谢134-136
• 作者简介136-137

  本文关键词：基于汉字的多模态脑机交互技术研究，由笔耕文化传播整理发布。

，

本文编号：471142