虚拟现实视觉诱发态下基于前额脑电及眼动的情绪分类研究

发布时间：2020-09-18 06:49

　　情绪是人类最重要的特征之一,对情绪分类进行深入研究,有助于推进人机交互的智能发展,同时为精神病患者心理障碍的诊治提供了可能。虚拟现实(VR)凭借立体、逼真的环境,让用户享受到身临其境的直观感觉,是较优的情绪诱发元。同时,在情绪分类研究方面,脑电与眼动等生理信号凭借其真实、客观被更多的应用。因此,本文将针对虚拟现实视觉诱发态下基于前额脑电及眼动的情绪分类展开深入研究。据调研,目前相关研究存在以下问题:1)虚拟现实视觉诱发态下带有情绪标签的生理信号库近乎空白,不利于后期算法的研究;2)在基于脑电的情绪分类研究方面,较之传统方法,仅基于前额二导联脑电信号的情绪分类算法研究十分缺乏,给操作与应用带来极大不便;同时,由于VR的特殊性,采集的脑电信号因头部运动与设备电流等引入大量噪声,而基于VR诱发的脑电去噪算法存在空缺;3)眼动位置数据与情绪关联关系存在极大的不确定性。基于以上问题,本文主要进行了如下工作:1)创建了符合国际标准的含有36张三种情绪的VR图片库,搭建了包含3个场景的自动交互型VR视觉诱发实验环境,通过24个受试者参与实验,创建了带有情绪标签的脑电、眼动数据集;2)在基于前额脑电的情绪分类任务中,基于DEAP数据库,借助梯度下降树(GBDT)模型,提出了基于前额二导联脑电时空频域特征融合情绪分类算法,获得平均75.18%的二分类识别率,不输于传统32导联方法,且减少了需处理信号通道数量,降低了特征提取计算;基于VR视觉诱发脑电数据集,提出了2种基于去噪自编码器(DAE)的脑电迁移学习去噪算法,极大地去除了头部运动与VR设备所带来的噪声,借助DAE+GBDT融合算法模型,获得76.88%的平均识别率,验证了分类算法的有效性、普适性;3)在眼动信号分析中,基于循环神经网络(RNN)模型初步探寻了眼动位置信号与情绪的关系,发现了个体差异性,指明了可深入研究方向。本文所做工作,为虚拟现实诱发态下带情绪标签生理信号库的创建打下坚实基础,为基于VR诱发的脑电信号去噪处理提供了可实施方案,为基于前额二导联脑电的情绪分类研究提供了有力参考,有助于可穿戴式情绪检测设备的发展。同时,在基于眼动数据的情绪分类研究上进行了一次积极有益的探索。
【学位单位】：华南理工大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：R318;TP391.9
【部分图文】：

非语言,情绪,自我评估,维度

或者通过非语言线索进行表达，如语调，面部表理状态，情绪是人最重要的特征之一，它可以增强人症等心理障碍[47]。通过几个维度来表达，一个突出的情感概念是维度视维度为特征。经过大量的理论和实证研究，维度包括唤醒程度，以及支配程度[48]。国际情感图片系统（IAP的标准化图片集，已被广泛用于心理学研究。它的情是愉悦度（范围是从愉悦到不愉悦）、唤醒度（范围是从支配到被支配）。根据文章[1]，在维度模型中，两悦度和唤醒度。而支配度是第三个维度，它是复杂的之间的高正相关性，以及支配度和唤醒度之间的正相两个维度之间的相关性则很小[1]。因此，愉悦度-唤醒在这二维空间下，可以表示不同的情绪，如图 2-1 所

脑电,采集设备,运动跟踪

图 2-2 Emotiv EPOC 脑电采集设备racker (HTC Vive)机视觉应用的供应商 SensoMotoric Instruments（SMI）供商提供用于科学研究、专业解决方案和 OEM 应用的眼集成到虚拟现实头戴设备中，如图 2-3 所示。同时，它、运动跟踪系统相结合。

示意图,眼动,设备,示意图

16图 2-3 VR 与眼动追踪设备结合示意图I 公司推出了一款眼动追踪 HTCVive，实际上是 HT为研究人员和专业人士提供了一个完全可控和沉浸式可以与运动、手动交互和生物传感器集成。这款沉级眼动追踪，可以在许多领域进行感知与交互的综合科学，医学、市场调研等。不仅如此，它还配备了

【参考文献】