基于生成对抗网络的面部表情识别研究

发布时间：2020-07-16 08:21

【摘要】：面部表情识别技术使得计算机能够感知并识别人类的情感,在人机交互、计算机视觉、认知科学等领域有着非常重要的意义。近几年,随着深度学习和图像处理技术的飞速发展,基于深度学习的方法已经在图像识别领域取得了突破性进展。然而面部表情数据的匮乏制约了深度神经网络的表达能力。本文基于生成对抗网络开展面部表情识别的研究工作,从数据增强和模型优化两方面提高模型在面部表情识别上的识别率和泛化能力。在数据增强方面:针对主流标准表情库CK+,设计了基于生成对抗网络的静态图像增强方法,在StarGAN的基础上改进重构误差,利用深度可分离卷积融合图像信息和类别信息,实现多风格面部表情图像的转换。利用生成器将自然表情下的面部图像生成同一人其它表情的面部图像,从而扩充数据集的数量。与传统基于图像空间变换和像素值变换的数据增强方法相比,本文方法能够生成配对型数据,使得模型更加关注不同表情之间的差异而非不同人之间的差异,增强了模型对表情特征的表达能力。同时,本文方法对解决数据量不平衡的问题也有一定的借鉴作用。在模型优化方面:充分考虑生成对抗网络中判别器对表情分类的作用,提取训练好的判别器模型用作表情分类器,并在扩充后的CK+数据集上进行微调。这种方法的优点在于不需要重新设计和训练一个分类模型。受兴趣区域(Region of interest,ROI)的启发,将人脸区域划分为左眼、右眼、鼻子和嘴巴四个兴趣区域并利用深度可分离卷积将兴趣区域和原图像在特征层进行融合,加强网络对兴趣区域的关注度。在CK+和JAFFE表情库上,通过多组对比实验验证了本文数据增强和模型优化方法的有效性。
【学位授予单位】：合肥工业大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.41;TP18
【图文】：

模型图,人工神经元,模型

从最邻近的几个样本中随机选择一个合成新样数的角度来缓解数据量不平衡，他们在计算分类误差时对值，样本少的权值大，使得网络更关注样本少的类别。经网络神经网络的发展经网络起源于神经生理学家 Warren Mcculloch 和数学家 W的 MP（mindlike machine)模型[33]，如图 2.1 所示。该模型结构单元，它接受多个输入并返回一个输出，每个输入都有引入非线性因素，也就是常说的激活函数。1958 年，Rose的基础上提出了单层感知机，其包含多个输出，每个输出知机无法解决类似异或的线性不可分问题，后来的研究人员加入了一层或多层处理单元构成了多层感知机，也就是较络，如图 2.2 所示。

多层感知机,合肥工业大学,硕士学位论文,层数

合肥工业大学硕士学位论文ception 系列、MobileNet、Xception 等[38-42]，图 2.3 展示了经。从 AlexNet 到 Xception，CNN 模型的层数越来越多，参少，应用的场景也越来越广。

年表,经典

12图 2.3 经典 CNN 年表Fig 2.3 Classic CNN chronology2.2.2 卷积神经网络的特点相较于全连接神经网络，卷积神经网络具有更少的参数和更深的网络结构，这意味着卷积神经网络能够挖掘到更深层次的信息。这归功于卷积神经网络的两大特点：局部感知和权值共享。

【参考文献】