基于排序的维度情感识别方法研究

发布时间：2020-04-22 04:37

【摘要】：在人们的日常交互中,情感往往扮演着非常重要的角色,它不仅丰富了表达者的表达方式,而且有助于人们理解对方的状态和行为。因此,对情感的分析和理解已经成为了一个重要的研究课题。在情感的描述方面,维度情感描述模型由于将不同的情感状态表示为由多个维度组成的情感空间中的不同的点,因此可以描述复杂、微妙且连续的情感状态。现阶段,维度情感识别已经受到了越来越多研究者的关注。在目前的维度情感识别研究中,用于对情感进行建模和预测的机器学习方法主要是分类和回归。然而,维度情感的标注通常是在一定范围内的连续的实数值,拥有有序属性,分类和回归方法不能有效地利用该性质。因此,为了恰当地利用维度情感标签的有序属性,提升维度情感识别表现,本文研究基于排序的维度情感识别方法,具体的研究内容如下:1)提出基于单样本有序回归的维度情感识别方法。该方法将情感等级预测问题转化成一系列二值比较问题,基于此思想首次构建了一个在Arousal-Valence维度情感空间的情感等级排序框架。在该框架中,首先将连续的维度情感标签离散化,形成数目有限的情感等级值。然后,训练一系列基本误差敏感二分类器,每一个二分类器用于确定给定样本的情感等级与该二分类器代表的情感等级的大小关系。所有二分类器训练完成后,在测试阶段,给定的测试样本被依次送到每个二分类器中进行分类,对所有二分类器输出结果进行聚合,最终得到测试样本的情感等级预测结果。在AVEC 2015标准数据库和SEMAINE子集数据库上的实验结果证明了该方法在平均绝对值误差和累计得分两种评价指标下优于传统和基于深度学习的分类和回归方法。2)提出基于样本对排序和深度学习的维度情感识别方法。该方法直接利用有序样本对中包含的相对顺序关系并结合深度学习强大的学习能力来学习得到一个表现良好的情感排序模型。在该方法中,首先提出并使用一种针对连续维度情感标签进行有序样本对选取的方法,产生数量可控的样本对训练集合。然后,构建基于siamese网络的情感排序模型。该模型有两个权重共享的深度卷积神经网络,完成从输入到情感得分的转换。在训练时,样本对中的两个样本分别输入到两个网络分支中,得到对应的情感得分,根据情感得分的大小关系和样本对标签计算排序误差函数值,然后通过后向传播算法优化该排序模型。在测试阶段,将测试样本集依次输入到该模型的一个分支中,得到每个样本对应的情感得分,根据该情感得分值对测试样本集进行排序。在AVEC 2015标准数据库和SEMAINE子集数据库上的实验结果表明该方法在情感排序任务上优于传统的样本对排序及回归方法和基于深度学习的回归方法。3)设计并实现基于排序的维度情感识别原型系统。采用Matlab和C++混合编程技术实现了基于排序的维度情感识别原型系统。该系统主要包含基于单样本有序回归的维度情感识别模块和基于样本对排序和深度学习的维度情感排序模块。通过原型系统的实现来证明本论文中所提方法的可用性和有效性。
【图文】：

示意图,网络结构,示意图,样本

和防止训练过程中梯度消失和梯度爆炸的批次归一zation, BN）[58]。另外还有大量研究表明，当卷积神经网络加往也会提升[59][60][61]。amese 网络mese 网络适用于解决度量样本间相似性的问题，它含有两个，每个网络分支通常是一个卷积神经网络。Siamese 网络接输入，，将样本对包含的两个样本分别送到两个网络分支中，非线性转换，样本从原始数据集的空间分布被映射转换到一量的空间分布中，然后在转换后的空间中计算两个样本之间两个样本的相似性大小，即二者是否属于同一类。Siamese图所示：

示意图,排序模型,情感,维度

图 4.1 基于样本对排序和 siamese 网络的维度情感排序模型示意图假设选取的样本对集合为， = { = ( , ; )| = 1,2, … , , }，其中一个样本对中包含了两个人脸图片样本和和指示两感标签间大小关系的样本对标签。当 = 1时，表示 > ，被，则被称作负例；当 = 1时，表示 < ，此时被称作负例称作正例。M 表示选取的总样本对数，N 表示从一个标签区间选取的在训练时，一个样本对中的两张人脸图片和分别输入到网络的两，每个分支都是一个深度卷积神经网络，包含堆叠的卷积层、池化层以层，可以从原始图片自动学习并提取出有用的特征。两个分支在网络结
【学位授予单位】：江苏大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP18;O223

【相似文献】