基于深度学习的面部情感识别研究

发布时间：2021-08-27 00:11

　　面部情感识别旨在判断表情所传达的情感倾向,智能感知个体情绪状态,具有重要的研究价值,已成为计算机视觉领域中的研究热点。为此,针对现有面部情感识别模型的不足,本文从图像和视频两个方面出发,对静态和动态的表情识别进行深入研究。1.针对面向图像的静态表情识别,考虑到卷积神经网络对情感相关的局部区域关注不够以及经典损失函数无法处理表情的类内差异,研究了一种基于多层空间注意力的轻量级密集连接卷积神经网络（Hierarchical Attention based Lightweight Densely-connected Convolutional Neural Network,HA-LDCNN）。首先采用密集连接卷积模块提取图像特征,以获取多尺度的丰富信息流,同时控制模型参数量;然后根据密集块输出特征特点构建参数量微小的空间注意力单元,用于关注情感显著性信息。在此基础上,引入类内距离惩罚项,将其与分类损失相结合监督参数训练,以减小因样本身份特性差异造成的影响。在两个公开数据集CK+和RAF-DB上对所提出模型进行验证,实验结果表明了模型的鲁棒性和高效性。2.针对面向视频的动态表情识别,考虑到现有... 

【文章来源】：重庆邮电大学重庆市

【文章页数】：70 页

【学位级别】：硕士

【部分图文】：

HA-LDCNN在CK+数据集上的分类混淆矩阵

重庆邮电大学硕士学位论文第3章基于HA-LDCNN的静态表情识别29表3.3展示了不同模型在RAF-DB上取得的准确率。同样地，HA-LDCNN的准确率超越了所有基线模型，相比最佳方法LCML准确率提高了0.63%，而相比RAF-DB创建者设计的方法DLP-CNN准确率提高了3.65%。对比结果证明了该模型在无约束数据集上的有效性。表3.3不同模型在RAF-DB数据集上的准确率模型验证方法准确率(%)LCML无交叉77.22ICID无交叉75.40DLP-CNN无交叉74.20MRE-CNN五折交叉76.73HA-LDCNN无交叉77.85图3.6展示了HA-LDCNN在RAF-DB上的混淆矩阵。可以看出，快乐因其相对独特的面部动作具有最高的分类精度，其次是惊讶与中性，而恐惧分类精度最低，因为在RAF-DB数据集中恐惧样本数远小于其他类别样本数。此外，由于从现实世界中收集的无约束表情图像质量参差不齐，存在拉伸形变和像素模糊，每一类表情与其他类表情之间都存在错误分类。图3.6HA-LDCNN在RAF-DB数据集上的分类混淆矩阵

重庆邮电大学硕士学位论文第4章基于DCNNs-DFM的动态表情识别44表4.3不同模型在CK+数据集上的准确率模型验证方法准确率(%)LPQ留一法94.90MSCNN十折交叉95.54DAM-CNN十折交叉95.88HybridFeature留一法95.70AlignedcropwithLSTM十折交叉97.203DCNNwithConvLSTM十折交叉97.50Ensemble十折交叉98.17OF五折交叉97.55DCNNs-DFM十折交叉98.47图4.7展示了DCNNs-DFM在CK+上的混淆矩阵。可以看出，DCNNs-DFM在识别愤怒、蔑视和惊讶方面表现优越，而在识别其余四类表情时出现了少量的错误分类。图4.7DCNNs-DFM在CK+数据集上的分类混淆矩阵表4.4展示了不同模型在MMI上取得的准确率。DCNNs-DFM的准确率相比最佳方法Inception-ResNetwithCRF提高0.34%，证明了该模型的有效性。同样地，除Spatio-temporslCNNwithDBN外，动态表情识别方法性能优于静态表情识别方


本文编号：3365243