基于生成对抗网络的数据驱动人脸表情识别研究

发布时间：2022-07-15 12:26

　　人脸表情是人类情感表达最自然,最有效的手段,也是人机交互的重要媒介。随着人工智能技术的发展,人们对人机交互提出了更高的要求,希望计算机可以更“拟人化”,可以正确认知用户的情感并做出积极且准确的反馈。表情识别,作为实现这一目标的关键环节之一,在过去的数十年中已得到研究者们越来越广泛的关注。相关研究成果已被用于远程教育,车载安全系统,公安测谎系统等多个领域。虽然目前人脸表情识别已经在各个领域展现出很高的应用价值,但其研究仍然存在巨大挑战,例如表情训练样本不足、类内差异大、姿态多变、表情变化微弱、背景复杂等。针对上述问题,本文从离散以及连续的人脸图像生成、姿态鲁棒特征提取、多任务协同分析和情感迁移学习等角度出发,研究实验室场景和自然场景的人脸表情识别问题,提出了一系列基于生成对抗网络的数据驱动方法,主要贡献体现在如下5个方面:（1）提出基于离散生成数据的人脸表情识别方法。针对现有人脸表情数据库中带标签样本不足导致的模型识别率低的问题,提出基于离散生成数据的端到端人脸表情识别方法。该方法利用生成对抗网络对人脸图像的姿态和表情进行同时建模,通过生成对抗网络中生成器与判别器的对抗学习解开人脸图像中... 

【文章页数】：160 页

【学位级别】：博士

【文章目录】：
摘要
abstract
第一章 绪论
    1.1 研究背景和意义
    1.2 人脸表情识别任务的问题和难点
    1.3 研究内容
        1.3.1 基于离散生成数据的人脸表情识别
        1.3.2 基于连续几何约束的任意姿态人脸表情识别
        1.3.3 基于姿态统一建模的人脸表情识别
        1.3.4 基于多任务协同分析的鲁棒人脸表情识别
        1.3.5 基于循环生成对抗网络的自然场景人脸表情识别
    1.4 论文的组织结构
第二章 国内外研究现状
    2.1 人脸表情识别概述
        2.1.1 人脸表情识别过程
        2.1.2 人脸图像预处理研究现状
        2.1.3 人脸特征提取与表示研究现状
        2.1.4 人脸表情识别方法研究现状
    2.2 基于生成对抗网络的人脸图像合成
        2.2.1 传统生成对抗网络
        2.2.2 条件生成对抗网络
        2.2.3 深度卷积生成对抗网络
        2.2.4 循环生成对抗网络
        2.2.5 基于生成对抗网络的人脸图像合成
        2.2.6 生成对抗网络与表情识别的关系
    2.3 人脸关键点检测
    2.4 本章小结
第三章 基于离散生成数据的人脸表情识别方法
    3.1 概述
    3.2 本章方法
        3.2.1 基于生成对抗网络的多姿态及多表情人脸图像生成
        3.2.2 基于深度神经网络的自动人脸表情特征提取与表示
        3.2.3 基于生成数据的人脸表情识别
    3.3 相关工作对比
    3.4 实验结果分析与比较
        3.4.1 数据集简介
        3.4.2 模型结构与参数设置
        3.4.3 人脸表情识别结果分析与比较
        3.4.4 人脸图像生成结果展示
    3.5 本章小结
第四章 基于连续几何约束的任意姿态人脸表情识别方法
    4.1 概述
    4.2 本章方法
        4.2.1 基于几何约束的任意姿态和任意表情人脸图像生成
        4.2.2 基于充足数据的深度情感特征提取与表示
        4.2.3 任意姿态人脸表情识别
    4.3 相关工作对比
    4.4 实验结果分析与比较
        4.4.1 数据集简介
        4.4.2 模型结构与参数设置
        4.4.3 人脸表情识别结果分析与比较
        4.4.4 模型消去实验结果对比
        4.4.5 任意姿态和任意表情下人脸图像生成结果展示
        4.4.6 表情转移结果展示
    4.5 本章小结
第五章 基于姿态统一建模的人脸表情识别方法
    5.1 概述
    5.2 本章方法
        5.2.1 基于生成对抗网络的表情不变多姿态人脸图像生成
        5.2.2 基于多角度卷积神经网络的姿态统一情感特征提取与表示
        5.2.3 姿态统一人脸表情识别
    5.3 相关工作对比
    5.4 实验结果分析与比较
        5.4.1 数据集简介
        5.4.2 模型结构与参数设置
        5.4.3 人脸表情识别结果分析与比较
        5.4.4 表情不变的多姿态人脸图像生成结果展示
    5.5 本章小结
第六章 基于多任务协同分析的鲁棒人脸表情识别方法
    6.1 概述
    6.2 本章方法
        6.2.1 基于soft-argmax的多任务人脸关键点检测
        6.2.2 基于生成对抗网络的任意姿态及任意表情人脸图像生成
        6.2.3 基于多任务协同分析的人脸表情识别
    6.3 相关工作对比
    6.4 实验结果分析与比较
        6.4.1 数据集简介
        6.4.2 模型结构与参数设置
        6.4.3 人脸表情识别结果分析与比较
        6.4.4 人脸图像合成结果分析与比较
        6.4.5 人脸关键点检测结果分析与比较
    6.5 本章小结
第七章 基于循环生成对抗网络的自然场景人脸表情识别方法
    7.1 概述
    7.2 本章方法
        7.2.1 基于循环生成对抗网络的自然场景人脸表情图像生成
        7.2.2 基于注意力迁移机制的情感迁移学习
        7.2.3 自然场景人脸表情识别
    7.3 相关工作对比
    7.4 实验结果分析与比较
        7.4.1 数据集简介
        7.4.2 模型结构与参数设置
        7.4.3 自然场景人脸表情识别结果分析与比较
        7.4.4 模型消去实验结果对比
        7.4.5 自然场景人脸图像生成结果展示
    7.5 本章小结
第八章 总结与展望
    8.1 总结
    8.2 展望
附录 A生成对抗网络优化过程
    A.1 判别器优化过程
    A.2 生成器优化过程
参考文献
致谢
攻读博士期间的学术论文及其他科研成果


【参考文献】：
期刊论文
[1]小数据样本深度迁移网络自发表情分类[J]. 付晓峰,吴俊,牛力.  中国图象图形学报. 2019(05)
[2]基于Face++的人脸比对系统[J]. 马窕梅,罗琴,吴海燕,邵田.  电子技术与软件工程. 2019(09)
[3]基于深度学习的可靠表情数据识别[J]. 王珂,周晓彦,李凌燕,陈秀珍.  电子器件. 2019(02)
[4]基于特征点与多网络联合训练的表情识别[J]. 夏添,张毅锋,刘袁.  计算机辅助设计与图形学学报. 2019(04)
[5]基于CycleGAN的非配对人脸图片光照归一化方法[J]. 曾碧,任万灵,陈云华.  广东工业大学学报. 2018(05)
[6]BHU人脸表情数据库的设计与实现[J]. 薛雨丽,毛峡,张帆.  北京航空航天大学学报. 2007(02)

硕士论文
[1]基于深度卷积神经网络的人脸表情识别方法[D]. 陈科雯.西安电子科技大学 2017
[2]基于局部特征的人脸识别研究[D]. 蒋佩.电子科技大学 2009



本文编号：3662047