基于离散和连续模型的视频人脸表情识别研究

发布时间：2022-08-12 11:13

　　面部表情承载着人类的情感信息,被视为是超越了种族和文化多样性的一种通用语言。深入研究人脸表情识别,有助于更好地理解人类的情感状态和心理活动,在人机交互中实现更智能的互动。动态表情序列蕴含了丰富的时空域信息,能够有效地反映面部表情的变化过程,因此基于视频的表情识别研究成为新一代人机交互系统的重要研究方向。人脸表情识别分为离散和连续两种表示模型,这两种情感模型在社会生活的诸多领域都有着巨大的应用价值。例如零售行业通过识别消费者购物时的基本表情,评估顾客对商品的喜好;在线教育行业应用连续维度表情识别监测学员状态,细化课程质量分析。本文研究了视频序列中的离散表情分类与连续表情回归问题,主要工作包含以下两个方面:（1）长短期记忆网络（LSTM）广泛应用于视频序列的人脸表情识别,针对单层LSTM表达能力有限,在解决复杂问题时其泛化能力易受制约的不足,提出一种层级注意力模型:使用堆叠LSTM学习时间序列数据的分层表示,利用自注意力机制构建差异化的层级关系,并通过构造惩罚项,进一步结合损失函数优化网络结构,提升网络性能。在CK+以及MMI数据库上的实验结果表明,由于构建了良好的层次级别特征,时间序列上... 

【文章页数】：66 页

【学位级别】：硕士

【文章目录】：
致谢
摘要
abstract
第一章 绪论
    1.1 课题研究背景与意义
    1.2 人脸表情识别研究现状
    1.3 人脸表情数据集
    1.4 人脸表情识别的研究难点
    1.5 论文主要内容及结构安排
第二章 人脸表情识别理论基础
    2.1 人脸表情识别流程
    2.2 人脸检测与定位
    2.3 图像预处理
        2.3.1 噪声处理
        2.3.2 直方图均衡化
        2.3.3 几何变换
    2.4 特征提取
    2.5 表情的分类与回归
    2.6 本章小结
第三章 基于层级注意力模型的视频序列表情识别
    3.1 引言
    3.2 层级注意力模型的CNN-LSTM架构设计
        3.2.1 LSTM
        3.2.2 注意力机制
        3.2.3 自注意力机制
        3.2.4 层级注意力模型
        3.2.5 惩罚项
    3.3 层级注意力模型的CNN-LSTM架构实现
        3.3.1 视频预处理
        3.3.2 预训练CNN
        3.3.3 应用层级注意力机制的LSTM
    3.4 实验设计与结果分析
        3.4.1 环境配置及实验数据库
        3.4.2 实验结果分析
    3.5 本章小结
第四章 基于自辅助学习的视频维度情感识别
    4.1 引言
    4.2 自辅助学习模型的构建
        4.2.1 多任务网络
        4.2.2 标签生成网络
        4.2.3 网络训练策略
    4.3 实验设计与结果分析
        4.3.1 评估度量
        4.3.2 环境配置及实验数据库
        4.3.3 实验结果分析
    4.4 本章小结
第五章 总结与展望
    5.1 本文工作总结
    5.2 未来展望
参考文献
攻读硕士期间的学术活动以及成果情况


【参考文献】：
期刊论文
[1]融合局部纹理和形状特征的人脸表情识别[J]. 胡敏,滕文娣,王晓华,许良凤,杨娟.  电子与信息学报. 2018(06)
[2]融合时空特征的视频序列表情识别[J]. 王晓华,夏晨,胡敏,任福继.  电子与信息学报. 2018(03)
[3]基于ROI-KNN卷积神经网络的面部表情识别[J]. 孙晓,潘汀,任福继.  自动化学报. 2016(06)
[4]基于隐马尔可夫模型（HMM）的人脸表情识别[J]. 王冲,李一民,杨霞.  通信技术. 2007(11)
[5]基于多模板匹配的单人脸检测[J]. 梁路宏,艾海舟,何克忠.  中国图象图形学报. 1999(10)



本文编号：3675772