基于残差注意力机制的轻量级实时表情分类与识别

发布时间：2020-10-31 20:11

　　 计算机和人工智能技术及其相关学科的快速发展使得计算机与人之间进行人机交互的需求日益增长。面部表情是人类情绪状态和精神状态的重要表现形式之一,人际交往中有大约55%的信息都是通过表情传达的。因此要让计算机能够理解和表达情感,首先就要能够理解人类的表情。近期,越来越多的研究使用深度卷积神经网络学习人脸的判别性特征进行表情识别。在表情识别领域中,已经提出了几种神经网络体系结构,这些模型大都基于VGG或者ResNet网络结构。比起传统方法,这些结构虽然效果更好,但是模型参数过多且前向传播推导时间过长,这对于许多移动设备来说难以实际运用。因此研究轻量级模型成为新的研究方向。然而当前大多数对模型的轻量级研究在表情中应用得比较少,且即使有应用在表情识别上,识别精确度也不是很高。为了解决目前人脸表情识别存在的问题,提出了一个建设性的解决方案:(1)提出快速降采样特征提取模型,提高人脸表情特征提取能力;(2)设计出一个轻量且准确度相对较高的面部表情识别算法,并通过加入残差注意力机制获取到表情特征关键信息,满足实时处理的要求;(3)提出一种新的损失融合方式,通过将L2_SVM提高泛化能力与中心损失聚拢类内距离的优势相结合,提高表情识别的准确度。研究大致流程如下:在网络的前端使用快速降采样特征提取结构提取表情特征。然后使用类VGG网络,将主干网络改为Xception结构,并加入残差注意力机制作为掩码分支。网络的后端使用新的损失融合算法。最后,实验结果表明,主干的设计确实降低了深层卷积网络的参数量,使得模型的参数量大大降低,并且通过设计的残差注意力结构和损失融合函数有效的提高了表情识别的精确度。
【学位单位】：华中科技大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TP391.41;TP18
【部分图文】：

(a) 人脸对齐 (b) 镜像翻转及旋转变换图 3-4 人脸对齐及数据增强示意图 轻量级表情识别网络设计主流的卷积神经网络模型层次深导致模型计算量非常的大，由于不够轻量无端部署。

(a) 人脸对齐 (b) 镜像翻转及旋转变换图 3-4 人脸对齐及数据增强示意图3.3 轻量级表情识别网络设计主流的卷积神经网络模型层次深导致模型计算量非常的大，由于不够轻量无法在移动端部署。0°180°

Xception[21]结构组合残差注意力结构从而提高网络的分类性能。基于不同深度的特征图可以提取额外的注意力模型，在网络的最后使用全卷积控制计算量进行像素级预测分类。人脸表情识别网络的具体结构在之后的小节里进行详细的介绍。3.3.1 快速降采样特征提取结构卷积操作是在两个维度上进行的，卷积核与图像进行点乘意味着卷积核里的权重单独对相应位置的像素进行作用。为了说明快速降采样如何进行的，我们首先要了解卷积操作是如何进行的。首先给定一个图像 X 和卷积核W ，步长为 s，则输出的结果 O 如公式 3-3 所示。 = щ (3-3)为了更清楚的了解卷积操作是如何进行的，我们假设输入图像大小为 ，卷积核的大小为 ，步长为 1，这样进行卷积操作后，输出的是一个 的矩阵，也叫卷积特征图。如图 3-6 所示。
【相似文献】

相关期刊论文 前10条

1 孔德壮;朱梦宇;于江坤;;人脸表情识别在辅助医疗中的应用及方法研究[J];生命科学仪器;2019年02期

2 杨晓龙;闫河;张杨;;人脸表情识别综述[J];数字技术与应用;2018年02期

3 原渊;;基于深度学习的人脸表情识别方法研究[J];电脑迷;2018年04期

4 翟懿奎;刘健;;面向人脸表情识别的迁移卷积神经网络研究[J];信号处理;2018年06期

5 赵美名;;教学系统中人脸表情识别系统的监督作用[J];教育教学论坛;2017年09期

6 施徐敢;张石清;赵小明;;基于压缩感知的鲁棒性人脸表情识别[J];计算机系统应用;2015年02期

7 李嘉良;范亦凡;展雯慧;黎箐箐;;人脸表情识别在婴儿看护中的应用[J];数码世界;2017年08期

8 孙蔚;王波;;人脸表情识别综述[J];电脑知识与技术;2012年01期

9 田建华;;一种高性能部分遮挡的人脸表情识别方法[J];电脑知识与技术;2011年08期

10 田建华;;基于改进的非负矩阵分解的人脸表情识别[J];电脑知识与技术;2011年13期

相关博士学位论文 前10条

1 李辉辉;基于认知机器学习的人脸表情识别研究[D];华南理工大学;2019年

2 卢洋;人脸表情图像识别关键技术的分析与研究[D];吉林大学;2019年

3 王占;基于稀疏子空间分析的人脸表情识别算法研究[D];北京交通大学;2017年

4 李筱鹤;非约束条件下人脸表情识别问题的研究[D];华南理工大学;2018年

5 孙文赟;基于深度学习的人脸表情识别研究[D];南京理工大学;2018年

6 杨雨浓;基于深度学习的人脸表情识别方法研究[D];西北大学;2017年

7 何良华;人脸表情识别中若干关键技术的研究[D];东南大学;2005年

8 刘伟锋;人脸表情识别研究[D];中国科学技术大学;2007年

9 Ongalo Phoebe Nasimiyu Fedha;基于机器学习方法的人脸表情识别研究[D];中南大学;2014年

10 岳雷;人脸表情识别新算法研究[D];北京理工大学;2015年

相关硕士学位论文 前10条

1 刘文龙;基于图像序列的动态人脸表情识别算法研究[D];华中科技大学;2019年

2 李雅茗;基于贝叶斯推理的人脸表情识别方法[D];华中科技大学;2019年

3 王丹;基于残差注意力机制的轻量级实时表情分类与识别[D];华中科技大学;2019年

4 韩雨;基于密集胶囊网络的多视角人脸表情识别[D];华中科技大学;2019年

5 彭穆子;自然环境下的静态人脸表情识别与估计[D];合肥工业大学;2019年

6 余胜男;基于生成对抗网络的人脸表情识别方法研究[D];合肥工业大学;2019年

7 周文彬;人脸表情识别特征提取及分类判别方法的研究与实现[D];北京交通大学;2019年

8 郭成;基于卷积神经网络的人脸表情识别算法研究[D];武汉轻工大学;2019年

9 徐灿;基于差分深度特征的人脸表情识别及其应用[D];华中师范大学;2019年

10 常天元;基于领域信息损失和注意力动态加权训练的人脸表情识别研究[D];华南理工大学;2019年

本文编号：2864450