基于三通道卷积神经网络和特征增强网络的微表情识别

发布时间：2024-06-16 08:35

　　面部表情包含丰富的情感信息,是人类日常生活中重要的组成部分。面部表情分为宏表情和微表情。宏表情持续时间为3/4到2秒,可以在整个面部发现,因此可以被容易地发现,但是宏表情可以被人为操控,容易产生虚假表情。微表情持续时间只有1/25到1/5秒,是无意识地出现在面部的,具有不可掩饰性,对应着人类的真实情感。因此微表情的识别具有重要意义。由于微表情持续时间短,面部表情的强度低,这就给使用肉眼识别微表情造成了很大的困难。因此微表情的自动识别研究具有较强的理论和实践意义。目前使用模式识别方法对微表情进行自动识别时,基本都是从整张人脸上提取信息。但是微表情在大部分情况下只有单一区域的面部肌肉运动出现,这使得在微表情识别过程中提取了很多和微表情无关的信息,从而影响了识别结果,增加了计算量。针对上述问题,本文提出一种基于三通道卷积神经网络和特征增强网络(SETFNet)对自发微表情进行识别的方法。网络中的三个通道分别输入三个不同的局部面部区域(左眼+左眉毛、右眼+右眉毛和嘴),这样可以减少和微表情无关的信息同时减少计算量。另外,我们在网络中增加了SE网络模块,该模块能够增强有效特征、抑制无用特征,从而...

【文章页数】：57 页

【学位级别】：硕士

【部分图文】：

图1.1一个“高兴”微表情样本的部分图片，其面部运动单元AU12的变化

西南大学硕士学位论文2干相互独立的运动单元（AU），通过AU来描述面部表情的强度和位置。表情是由一个或者多个不同面部运动单元组成，如：高兴通常由AU6+AU12组成。微表情AU的强度较低，且大部分情况下只有单一的运动单元发现变化，图1.1是一个高兴的微表情样本，其面部运动单元只有....

图2.1CASMEⅡ数据库中“厌恶”微表情图像序列

西南大学硕士学位论文8图2.1CASMEⅡ数据库中“厌恶”微表情图像序列表2.2CASMEⅡ数据库基本信息数据库样本数帧速率帧分辨率情绪类型高兴厌恶惊讶压抑悲伤害怕其他CASMEⅡ255200fps640×480326325277299本试验使用SMIC中的HS数据集，共164个....

图2.2试验预处理流程图

第二章自发微表情数据库与预处理9图2.2试验预处理流程图2.2.1人脸检测及裁剪微表情信息并不是在全脸都存在，而且其运动程度较为微弱，如果使用整张人脸进行特征提取，会使特征在中包含很多噪声，同时增加计算量，因此我们截取包含微表情信息较多的局部区域作为输入特征。目前分析面部表情特点....

图2.3AUs在面部对应的位置

西南大学硕士学位论文10图2.3AUs在面部对应的位置为了截取兴趣区，去除掉无用的面部信息，首先使用人脸检测去定位人脸关键点，然后基于定位的关键点确定兴趣区。本文使用DRMF算法[44]对微表情视频序列进行逐帧检测，DRMF算法相比其他检测系统具有更强的定位能力和健壮性等特点，可....

本文编号：3995158