生理信号的情感计算研究及其应用

发布时间：2020-03-23 20:02

【摘要】：情感是人类的一种复杂心理和生理现象,情感渗透进了人类生存和生活的方方面面,通过生理信号进行情感计算的研究目的是为了通过对生理信号进行分析从而识别人们的情感状态。本文的主要创新点可以概括为以下几个方面:(1)用希尔伯特黄变换方法提取脑电信号时频域特征,随后通过高斯核函数支持向量机方法对特征进行情感分类识别研究。具体的过程是,首先我们用经验模态分解法对原始脑电信号进行分解,随后对本征模函数按照不同的时长进行时间窗口划分,随后提取窗口内信号的功率谱作为生理特征。在对生理特征进行情感分类阶段,用高斯核函数支持向量机的方法进行分类识别。将此方法用在DEAP数据集上进行验证发现,我们的方法对应的情感分类精度比之前的研究和其它基线方法的分类精确度更高。同时,对不同个体被试的情感分类结果进行对比分析发现不同被试对于相同的刺激产生的情感是有差别的;同时,通过对同一被试不同频段脑电信号对应的情感分类精确度进行对比分析发现,在清醒状态下,被试脑电信号高频率子波提取出的生理特征对应的情感分类准确度比低频子波对应的分类精确度更高。(2)提出了脑电信号多维度特征的平面融合方法,以及相对应的平面特征提取方法和情感分类识别方法。脑电信号的多维度特征包括频域维度特征、空间维度特征和时间维度特征。脑电多维度特征平面融合方法包含三个步骤:第一步,提取不同时间窗口内脑电信号在不同测试电极的频域特征;第二步,通过我们提出的映射方法,将频域特征按照脑电电极空间分布规律映射成一个二维图片;第三步,根据时间窗口的先后顺序将生成的二维图片进行排列,从而形成一个图片序列来表现脑电信号在不同刺激状态下的特征。脑电多维度特征的提取方法采用了深度卷积神经网络进行特征的自动提取,提取出的特征通过LSTM循环神经网络进行情感分类识别。文中将深度卷积神经网络和LSTM循环神经网络进行融合,形成了一个混合深度神经网络。模型验证阶段采用DEAP数据集作为训练集、测试集和验证集进行训练。为了增加训练样本,我们采用了向原有图像训练集添加噪声的方法将原有的图像集进行了扩展。通过对比情感识别精确度,结果说明本文提出的方法有效。对于实验结果的分析发现,以3秒钟为时长窗口生成的脑电特征序列对应了较高的情感分类准确率;其次,脑电特征帧中FP1点和FP2点的细节变化对于整个情感分类准确率的影响较大。(3)对于通过多模态生理信号进行情感识别的研究,本文提出了一种用栈式自编码神经网络的方法对多模态生理特征进行信息融合和信息压缩。在特征融合阶段,首先提取不同模态生理信号的频域特征作为原始生理特征,随后对不同模态的特征进行拼接,对拼接后的特征通过栈式自编码神经网络进行信息压缩和特征融合;对融合特征本文采用LSTM循环神经网络对其进行情感分类识别。结果发现,多模态融合特征的对应的情感分类识别准确率比单模态特征情感分类识别准确率要高。说明通过多模态生理特征融合方法得到了更加丰富的情感分类特征,特征融合的方法是有效的。(4)本文设计了一个基于可穿戴脑电采集设备和智能移动设备的脑电信号采集系统,主要的功能是用来记录被试长周期实验过程中的脑电信号和POMS量表。随后,将脑电信号的相关特征与POMS量表的相关指标进行关联分析,以期发现人们在无刺激状态下通过脑电信号反映出来的精神变化。实验一共采集了8个被试7天的静息态脑电信号,通过关联分析得到脑电特征与POMS量表分量之间的Pearson相关系数。实验结果表明前额叶FP_1位置点的脑电信号与POMS情绪状态量表的情绪分量之间存在显著相关关系。例如,愤怒分量与脑电特征之间呈现出了显著正相关的关系,自我分量有4个出现显著的负相关,而其它的分量并没有出现显著相关。
【图文】：

情感模型,二维,情感维度,情感

维度情感空间中进行了映射，例如在二维情感空间中，“快乐”属于高唤醒度，高正效价的情感，而“悲伤”则属于低唤醒度，高负效价的情感。迄今为止，研究者依据对情感的不同认识提出了不同的维度情感理论。图1-1展示了二维情感模型，其中将基本情感模型中的一些具体的基本情感在不同维度中进行了映射。图 1-1 效度和唤醒度二维情感模型Figure 1-1. The valence and arousal tow dimensional emotion model图 1-1 中，二维情感模型依据唤醒度和效度的高低，组合之后分为四个维度，分别为高效度高唤醒度（HVHA）、低效度高唤醒度（LVHA）、低效度低唤醒度（LVLA）和高效度低唤醒度（HVLA）。在将一些基本情感映射到不同的情感维度的时候，我们可以看到“愉悦”情感位于第一象限，而“抑郁”情感则位于第三象限。除了二维情感维度模型，[22]中描述了一种三维情感维度模型，[23]中描述了一种四维情感维度模型。维度情感模型的研究难点在于情感维度含义的确定，而具体的情感可以通过精确的维度向量进行表达。1.3.3 情感计算中生理信号的数据采集通过人体生理信号进行情感识别计算的数据基础

采集设备,脑电信号,方式

北京工业大学工学博士学位论文点（pre-auricularpoints，紧靠中部耳翼前面的凹陷点，标记为 A1 和 A，在 lz 和 Nz 之间画一条经线（longitudeline），再将这条经线按 10%例进行等分，在这些等分点加上与赤道同轴的纬线（latitudeline）。数的电极点可以放置在沿着这些纬线的 10%或 20%的整数倍位置上上就形成了标准的国际 10-20 系统。在这个系统中，每个电极名称的或者两个字母来表示大的电极区域，例如 Fp=额极（frontal pole）、al）、C=中央（central）、P=顶（parietal）；O=枕（occipital）、T=颞(temp电极名称后用一个数字或者字母来表示与中心的距离，，左脑半球为奇球为偶数。数字越大表示离中线越远，中线位置用标志“z”来代表数字字母 O 区别。国际 10-20 系统的使用确保了研究者在进行脑电测试脑电电极命名的一致性。
【学位授予单位】：北京工业大学
【学位级别】：博士
【学位授予年份】：2018
【分类号】：R33;TN911.7

【参考文献】