基于特权信息的情感识别

发布时间：2017-05-15 09:06

  本文关键词：基于特权信息的情感识别，由笔耕文化传播整理发布。

【摘要】：随着科技的进步和人们对人机交互中个性化交流需求的日益增多,情感识别作为影响交互质量的重要因素成为相关研究领域的热点之一,已经取得了一定的研究进展。在目前的研究中,情感识别通常被转化为机器学习问题进行解决。传统的机器学习方法多侧重于特征提取和分类器设计。相比于经典的有监督学习,基于特权信息的学习在训练阶段,除了样本特征和教师信号,还提供额外的信息,称为特权信息。特权信息,只在训练阶段存在,在测试阶段不存在。基于特权信息的学习的目标为借助特权信息建立更好的分类器。在情感识别问题中存在大量的特权信息,例如,在视频情感标注中,用户的脑电(Electroencephalogram:EEG)特征可以作为特权信息：在基于脑电信号的情感识别中,情感刺激视频和用户的个性化信息均可以作为特权信息；在多表情单元的识别中,各识别任务在特征空间中的关系可以作为特权信息。因此,本文提出基于特权信息的情感识别研究,具体如下： (1)提出了融合用户脑电信号和视频内容的情感视频标注方法。首先,从视频片段中提取若干听觉和视觉特征,同时从脑电信号的每个通道中提取五种频域特征。其次,使用统计分析的方法发掘情感标签与脑电和视频特征之间的关系。再次,构建三种贝叶斯网络,分别从特征层独立融合,决策层融合以及特征层相关融合三个层面,结合视频和脑电特征对视频进行情感标注。为了验证方法的有效性,本文设计并实施了心理生理学实验并采集了实验数据,包括诱发情感的视频片段、用户观看视频片段时的脑电响应以及用户在观看每个视频片段之后的自我情感评估。实验结果表明本文提出的融合方法较传统的仅使用单模态特征(视频或脑电特征)情感标注方法在愉悦度-唤醒度空间有更好的识别效果。此外,实验结果还表明在脑电特征有助于减小低层视频特征和高层用户情感标签之间的语义鸿沟。 (2)以某一模态特征为特权信息的情感识别和视频情感标注方法。具体来说,既可以通过刺激视频来辅助从脑电脑电信号中识别观众的情感,也可以通过脑电信号辅助基于视频的情感标注。首先,从脑电信号中提取频域特征并从刺激视频中提取视听特征。其次,通过统计检验的方法进行特征选择。再次,通过典型相关分析(Canonical Correlation Analysis: CCA)同步构建一个新的脑电特征空间和视频特征空间。最后,采用支持向量机(Support Vector Machine:SVM)分别在脑电和视频特征空间中训练识别模型。在基于脑电的情感识别中,仅使用脑电信号作为识别的输入,并使用在脑电特征空间训练的SVM分类器；在视频的情感标注中,仅使用视频内容作为识别的输入,并使用在视频特征空间训练的SVM分类器。本文在三个标准数据库上进行了基于脑电信号的情感识别实验和视频情感标注。实验结果表明,视频内容作为上下文信息可以改善从脑电信号中识别情感的准确度；类似地,在训练过程中添加脑电信号同样可以增强视频情感标注的性能。 (3)提出了采用被试和聚类归属作为特权信息的情感识别方法。首先,从脑电信号的每个通道中提取五种频域特征并通过统计检验的方法进行特征选择。其次,在训练阶段使用两种三节点贝叶斯网络(Bayesian networks:BN)来捕获情感标签、脑电特征以及被试或者聚类之间的联合概率分布方程。最终,在测试过程中,仅使用脑电特征按照特权信息——被试获聚类归属——进行边缘化处理,用以估计样本的情感标签。本文在三个标准数据库上进行了实验,包括MAHNOB-HCI, DEAP和USTC-ERVS.实验结果表明,这种引入被试和聚类归属的方法,比为每个被试训练单独的分类器,或在整个数据集上训练被试的无关的分类器有着更好的情感识别效果。 (4)提出了使用相关的识别任务作为特权信息的多表情单元识别的方法,即通过在特征和目的标签层面联合构建面部动作单元间关系来进行多表情单元识别。首先,将多任务特征学习方法用在分组之后的动作单元识别任务,并在每个组内学习共享的特征。其次,使用贝叶斯网络,结合面部图像的目的标签对动作单元之间的共生和互斥关系进行建模。最后,使用训练好的贝叶斯网络对多任务学习的结果进行校正,同时通过概率推理实现了多面部动作单元的识别。在CK+(extended Cohn-Kanade)、 MMI和DISFA (Denver Intensity of Spontaneous Facial Actions)的结果验证了这种方法的有效性。
【关键词】：情感识别 特权信息 典型相关分析 贝叶斯网络 多任务学习
【学位授予单位】：中国科学技术大学
【学位级别】：博士
【学位授予年份】：2015
【分类号】：TP181
【目录】：

• 摘要5-7
• ABSTRACT7-12
• 表格索引12-13
• 插图索引13-15
• 主要符号对照表15-16
• 第一章 绪论16-26
• 1.1 研究背景及意义16-17
• 1.2 相关工作17-23
• 1.2.1 视频情感标注17-19
• 1.2.2 基于脑电信号的情感识别19-20
• 1.2.3 多AU识别20-21
• 1.2.4 基于特权信息的机器学习21-23
• 1.3 研究内容与主要贡献23-24
• 1.4 论文组织结构24-26
• 第二章 融合用户脑电信号和视频内容的视频情感标注26-42
• 2.1 引言26-27
• 2.2 三种空间及其关系27-30
• 2.2.1 情感标签空间27
• 2.2.2 生理空间27-28
• 2.2.3 物理空间28-30
• 2.2.4 物理/生理空间与情感标签之间的关系30
• 2.2.5 物理空间与生理空间之间的关系30
• 2.3 采用贝叶斯网络进行视频情感标注30-33
• 2.3.1 特征层独立融合31
• 2.3.2 决策层融合31-33
• 2.3.3 特征层相关融合33
• 2.4 实验及分析33-40
• 2.4.1 心理生理学实验和数据采集33-35
• 2.4.2 实验结果和分析35-38
• 2.4.3 情感标注实验及结果38-40
• 2.5 本章小结40-42
• 第三章 基于特权信息学习的情感识别和视频情感标注42-58
• 3.1 引言42-43
• 3.2 研究方法43-46
• 3.2.1 特征提取44
• 3.2.2 特征选择44
• 3.2.3 联合构建新的脑电和视频特征空间44-46
• 3.2.4 情感识别使用的分类器46
• 3.3 实验及分析46-55
• 3.3.1 实验条件46-47
• 3.3.2 特征选择的实验结果47-50
• 3.3.3 情感识别的实验结果50-51
• 3.3.4 视频情感标注的实验结果51-55
• 3.3.5 与相关工作的比较55
• 3.4 本章小结55-58
• 第四章 基于个性化特权信息的情感识别58-72
• 4.1 引言58
• 4.2 识别方法58-61
• 4.2.1 特征提取59
• 4.2.2 特征选择59-60
• 4.2.3 使用特权信息进行情感识别60-61
• 4.3 实验与分析61-69
• 4.3.1 实验条件61-62
• 4.3.2 被试编号作为特权信息62-65
• 4.3.3 被试分组作为特权信息的情感识别实验65-68
• 4.3.4 与相关工作的比较68-69
• 4.4 各情感识别方法的比较69-70
• 4.5 本章小结70-72
• 第五章 基于多任务学习和语义关系建模的多AU识别72-92
• 5.1 引言72
• 5.2 AU识别方法72-76
• 5.2.1 特征提取73
• 5.2.2 基于多任务特征学习的多AU识别73-75
• 5.2.3 使用贝叶斯网络从标签中进行AU关系建模75-76
• 5.3 实验结果及分析76-89
• 5.3.1 实验条件76-78
• 5.3.2 基于实例的实验结果及分析78-86
• 5.3.3 基于标签的实验结果及分析86
• 5.3.4 与相关工作的比较86-87
• 5.3.5 跨数据库实验87-89
• 5.4 本章小结89-92
• 第六章 总结与展望92-96
• 6.1 视频混合标注：融合脑电信号和视频内容92-93
• 6.1.1 研究工作总结92
• 6.1.2 进一步研究展望92-93
• 6.2 模态特征作为特权信息：脑电信号和视频内容互为特权信息93
• 6.2.1 研究工作总结93
• 6.2.2 进一步研究展望93
• 6.3 被试或分组作为特权信息：基于个性化特权信息的情感识别93
• 6.3.1 研究工作总结93
• 6.3.2 进一步研究展望93
• 6.4 多任务作为特权信息：多AU识别93-96
• 6.4.1 研究工作总结93-94
• 6.4.2 进一步研究展望94-96
• 参考文献96-104
• 附录A 情感刺激视频列表104-108
• 致谢108-110
• 在读期间发表的学术论文与取得的研究成果110-112
• 作者简历112

【共引文献】

中国期刊全文数据库 前10条

1 余伶俐;蔡自兴;陈明义;;语音信号的情感特征分析与识别研究综述[J];电路与系统学报;2007年04期

2 苏逸飞;张永魁;;用于情绪识别的无线生理信号采集传输系统[J];电气电子教学学报;2009年05期

3 王东霞;刘秋菊;刘书伦;;一种l_(2,1)范数最小化问题的算法研究[J];福州大学学报(自然科学版);2013年01期

4 王蓓;王晓兰;;基于表情和语音的多模态情感识别研究[J];信息化研究;2014年01期

5 徐新洲;黄程韦;金峗;吴尘;赵力;;基于半监督判别分析的语音情感识别(英文)[J];Journal of Southeast University(English Edition);2014年01期

6 刘永春;宋弘;;基于随机森林的乳腺肿瘤诊断研究[J];电视技术;2014年15期

7 翁子林;;一种音频情感区间划分方法[J];电脑知识与技术;2014年26期

8 操雅琴;郭伏;屈庆星;;基于多模式测量的网站用户行为意图预测模型[J];东北大学学报(自然科学版);2014年11期

9 李春曦;林卿;叶学民;;基于复杂度的轴流风机动叶偏移时声压信号的表征[J];动力工程学报;2015年01期

10 陈志华;苏雅;;视觉刺激情感变化β波同步分析[J];大连交通大学学报;2015年04期

  本文关键词：基于特权信息的情感识别，由笔耕文化传播整理发布。

，

本文编号：367326