脑电时空多特征融合的数字图形界面认知负荷评价方法
发布时间：2021-07-20 01:23
准确地评价数字图形界面下操作员的认知负荷（cognitive load, CL）,有助于实现认知反馈机制并最终提高人机工效.为了进一步提高评价方法的鲁棒性与泛化能力,结合EEG实验将Att-BLSTM应用于CL评价问题中.该方法首先利用Multi-CNN提取EEG的频域与空间特征,然后利用Att-BLSTM提取EEG的时域特征,最后通过多特征融合构建CL评价方法.通过招募12名被试,采集了2种CL条件下的EEG数据进行了实验.实验结果表明,文中方法在该数据集上的平均准确率为82%,比传统机器学习的方法具有更强的EEG信号表征能力;与其他深度学习方法相比,也能更准确地提取EEG的时域特征,且具有更强的鲁棒性.
【文章来源】：计算机辅助设计与图形学学报. 2020,32(07)北大核心EICSCD
【文章页数】：8 页
【部分图文】：
ConvNet结构
频域与空间特征模块中,本文利用7个连续的重叠的时间窗口将EEG信号分割,并利用快速傅里叶变换(fast Fourier transform,FFT)提取EEG信号的频域信息;然后结合采集设备的电极位置生成图片;最后将这些图片输入到多卷积神经网络(multi-convolutional neural networks,Multi-CNN)中,输出EEG信号的频域与空间特征.时域特征模块中,原始的EEG时间序列先通过2层的BLSTM;然后通过一个注意力层得到EEG信号的时域特征;最后融合时域特征、空间特征和频域特征输入到一个全连接层,通过一个Softmax层输出模型预测结果.2.1 数据采集
本文招募了12名被试(6名男性、6名女性,年龄19～26岁,平均年龄22.6岁,标准差2.2)参与认知实验,他们均为在校大学生或研究生.认知实验采用经典的oddball范式进行设计[33];刺激材料为如图2所示的2种不同布局的图形界面,靶刺激与标准刺激全部由图2中的图形界面产生.实验开始时,被试确认记住靶刺激与标准刺激后按空格键,并呈现“十”字注视点500 ms以消除视觉残留;然后靶刺激与标准刺激会随机呈现1 000 ms,被试的任务是看到靶刺激时要尽可能快地点击鼠标左键,看到标准刺激时什么都不用做,接下来刺激消失开始下一个试次(trial).这样的实验有2组:第1组实验靶刺激为界面B,标准刺激为界面A;第2组实验靶刺激为界面A,标准刺激为界面B.每组实验中靶刺激呈现40次,标准刺激呈现160次.实验过程中采用NeuroScan 64导电极帽记录EEG,按国际10-20标准放置电极,采样率为1 000 Hz,用鼻尖作为参考电极.2名被试的数据因为噪声和伪迹过多而被剔除.本文采用ERP技术[17]进行分析发现,界面B下被试的CL明显高于界面A,根据这个结果把与界面A同步的EEG信号标记为低CL状态下的数据,把与界面B同步的EEG信号标记为高CL状态下的数据.2.2 频域和空间特征模块
本文编号：3291829
【文章来源】：计算机辅助设计与图形学学报. 2020,32(07)北大核心EICSCD
【文章页数】：8 页
【部分图文】：
ConvNet结构
频域与空间特征模块中,本文利用7个连续的重叠的时间窗口将EEG信号分割,并利用快速傅里叶变换(fast Fourier transform,FFT)提取EEG信号的频域信息;然后结合采集设备的电极位置生成图片;最后将这些图片输入到多卷积神经网络(multi-convolutional neural networks,Multi-CNN)中,输出EEG信号的频域与空间特征.时域特征模块中,原始的EEG时间序列先通过2层的BLSTM;然后通过一个注意力层得到EEG信号的时域特征;最后融合时域特征、空间特征和频域特征输入到一个全连接层,通过一个Softmax层输出模型预测结果.2.1 数据采集
本文招募了12名被试(6名男性、6名女性,年龄19～26岁,平均年龄22.6岁,标准差2.2)参与认知实验,他们均为在校大学生或研究生.认知实验采用经典的oddball范式进行设计[33];刺激材料为如图2所示的2种不同布局的图形界面,靶刺激与标准刺激全部由图2中的图形界面产生.实验开始时,被试确认记住靶刺激与标准刺激后按空格键,并呈现“十”字注视点500 ms以消除视觉残留;然后靶刺激与标准刺激会随机呈现1 000 ms,被试的任务是看到靶刺激时要尽可能快地点击鼠标左键,看到标准刺激时什么都不用做,接下来刺激消失开始下一个试次(trial).这样的实验有2组:第1组实验靶刺激为界面B,标准刺激为界面A;第2组实验靶刺激为界面A,标准刺激为界面B.每组实验中靶刺激呈现40次,标准刺激呈现160次.实验过程中采用NeuroScan 64导电极帽记录EEG,按国际10-20标准放置电极,采样率为1 000 Hz,用鼻尖作为参考电极.2名被试的数据因为噪声和伪迹过多而被剔除.本文采用ERP技术[17]进行分析发现,界面B下被试的CL明显高于界面A,根据这个结果把与界面A同步的EEG信号标记为低CL状态下的数据,把与界面B同步的EEG信号标记为高CL状态下的数据.2.2 频域和空间特征模块
本文编号：3291829
本文链接：https://www.wllwen.com/kejilunwen/xinxigongchenglunwen/3291829.html
