基于身体动作的情感识别研究

发布时间：2021-01-13 16:24

　　在人机交互日益密切的人工智能时代,希望机器能识别人类情感的需求越来越迫切。现阶段的情感识别主要通过面部表情和语音信号实现。身体动作作为肢体语言的重要组成部分,同样蕴含了丰富的情感信息。本课题以基于身体动作的情感识别为研究内容,设计并采集处理了两个相关数据集,提出对应算法,在数据集上实现了有效识别。本文的主要贡献包括:第一,采集并处理了两个大型、多视角,识别难度由易到难的身体动作情感数据集。现阶段基于身体动作的情感识别公开数据集数量仅为个位数,单个数据集样本数量仅为千级。本课题的数据集极大丰富了该领域的研究数据,十万级别的样本总数为深度学习在该领域的运用创造了可能性。第二,针对识别较为容易的动作对照组情感数据集,虽然该数据集的数据模态仅有RGB视频,但是本课题开创性地使用人体姿态估计模型估计出骨架关节点,同时利用身体动作的RGB特征和骨架特征,实现情感识别。与该领域其他研究手工提取特征,使用传统分类器识别不同,本课题的算法特征提取和情感识别均通过深度学习网络实现,识别效果较好。第三,针对识别较为困难的标准动作情感数据集,本课题在之前研究的基础上,实验分析得出骨架特征识别效果更好,并引入注... 

【文章来源】：中国科学院大学(中国科学院深圳先进技术研究院)广东省

【文章页数】：60 页

【学位级别】：硕士

【部分图文】：

Plutchik情感模型示意图

第2章动作对照组情感数据集介绍13度，可量化，可定量测量。情感具有维度的话，意味着如果情感空间建立的方法合适，可以将情感表示为坐标空间基向量的线性组合。人类所有的情感将分布于连续的情感空间中，该空间的每一个坐标轴代表情感的某种特定维度。不同的情感由于各维度所占的值不同，在情感空间的位置也不同。对于一维情感空间模型，心理学家Johnston将情感按照消极-积极程度在实数坐标轴上排列，正半轴代表积极，负半轴代表消极，距离原点越远代表消极或者积极程度越高。一维情感空间模型，就是消极和积极的二分类模型。二维情感空间模型在一维情感空间模型的基础上，增加了情感的强弱特性，作为第二个维度。Russell等人[54]基于提出了情感环状模型，又名唤醒度-效价（arousal-valence）模型，如图2.2所示。横坐标效价即一维模型的继承，纵坐标唤醒度也就是情感的强度。图2.2唤醒度-效价情感模型示意图1974年，Mehrabian[55]提出由愉悦度（Pleasure）、唤醒度（Arousal）和优势度（Dominance）三个维度构成的PAD模型。其中，P代表愉悦度(Pleasure-displeasure)，表示个体情感状态的正负特性，包括情感的积极或消极两个对立的状态，也就是一维模型的坐标；A代表唤醒度(Arousal-nonarousal)，或者叫激活度。也就是二维模型相较于一维模型加入的维度—

基于身体动作的情感识别研究14—情感强度。D代表优势度(Dominance-submissiveness)，表示个体对情景和他人的控制状态。D是三维模型相较于二维模型新加入的维度，是指个体对他人和外界环境的控制力和影响力，主要指个体对情感状态的主观控制程度，用以区分情感状态是由个体主观发出的还是受客观环境影响产生的。图2.3PAD三维情感模型示意图2.1.2动作对照组情感数据集的标签类型为实施可行且有效的实验研究，并参考1.2.1节中表1.1公开的基于身体动作情感识别数据集的信息，本课题采用学术界广泛应用的，PaulEkman提出的六类基本情感：高兴、愤怒、厌恶、恐惧、悲伤、惊讶，作为情感标签。需要指出的是，该课题的研究分为两个阶段进行，采集的数据集也分为两个部分。因为身体动作情感表达不如面部表情和语音信号明显，且从身体运动中得出情感特征十分困难，第一阶段采集的数据是六类基本情感和中性情感的动作对照组。针对每一对照组，我们指定了动作。例如，跳跃动作，采集待识别对象中性跳跃和开心地跳跃两个身体动作，作为对照组，用于识别。每个对象的每个标签将会重复三次采集。动作对照组情感数据集的标签类别示例如表2.1所示。包括高兴、愤怒、

【参考文献】：
期刊论文
[1]基于脑电信号的ILDB情感特征提取算法[J]. 时文飞,叶西宁.  华东理工大学学报(自然科学版). 2016(02)



本文编号：2975186