基于深度学习的视频人脸表情识别研究

发布时间：2022-05-02 19:42

　　人脸表情识别是人脸识别的一个重要组成部分,该方向已经成为人机交互领域的研究热点,广泛应用于疲劳驾驶、在线教学、测谎、娱乐等行业。人脸表情识别涉及了心理学、生物学、统计学、计算机学等多个学科,是一个非常新颖且有研究价值的方向。当前人脸表情识别数据的采集逐渐从实验室转向真实场景（受光照、遮挡、姿态等多种因素混合干扰）,导致表情识别的难度大大增加,在此背景下,我们旨在搭建并训练出适合真实人脸表情视频数据的神经网络模型,用以提高人脸表情识别的准确性和实用性,具体工作内容如下:（1）考虑卷积神经网络（Convolutional Neural Network,CNN）有助于提取数据平移不变特征,循环神经网络（Recurrent Neural Network,RNN）有助于分析连续序列数据间的时间信息,受此启发,本文搭建了端到端的CNN-LSTM网络模型,用于识别人脸表情视频数据。首先,CNN部分使用经典的VGG-16卷积网络提取每帧人脸表情特征,RNN部分使用长短期记忆网络（Long Short-Term Memory,LSTM）分析帧间表情变化差异;其次,针对CNN和LSTM模块分开训练时反向传... 

【文章页数】：61 页

【学位级别】：硕士

【部分图文】：

图２．?１神经网络视频表情识别系统流程图??

用中，包括人脸表情识别。２１世纪初，人脸表情??识别研宄中发现，ＣＮＮ对人脸位置变化和尺度变化具有很强的鲁捧性，并旦在人脸面部位置??和尺度改变时性能优于多层感知器（ＭＬＰ）。研究者们多使用ＣＮＮ来解决人脸表情识别中的??平移、旋转和尺度不变性问题。??■凰。??卷积ｔｅ７ｘ７?输出像素点??输出像素点感受野为７ｘ７??Ｈ圓曲］囲圈??卷积核３ｘ３?卷积核３ｘ３?卷积核３ｘ３??输出像累点感受野为３ｘ３?输出；—点??输出像素点感受野为５ｘ５??输出像素点感受野为７ｘ７??图２．?２不同卷积核下的感受野表示??ＣＮＮ模型，主要由卷积层、池化层、激活层、全连接层等＿础层构成。卷积层和池化鳥一??般会组合交替连接，激活层则跟随在每一层线性连接层之后保证网络非线性，全连接层通常??位于ｉ网络未端用＇予回質。卷积层＿的输入输出称之为特征映射（Ｆｅａｔｕｒｅ?Ｍａｐ．）：，两者特征映射的??像素点线性连接，输入的特征映射像素点与卷积层的卷积核与加权求和加上偏置项得到输出??特征映射像素点，偷置项保证了网络的拟合能力，该过程卷积运算等价，所以称之为卷积神??经网络。卷积核是一个权值矩阵（对于＇二錐图像逋常为３Ｘ３、５Ｘ５或７Ｘ７矩阵，见图２．２）。??卷积祌经网络逋过多层卷积层提取不两程度的特征，低级特征（如边缘、角、线条等）由浅??层卷积层提取，深层卷积层提取由低级特征组合而成的高级特征。隨着网络层的不断加深，??每个特征映射的像素点的感受野（ＲｅｃｅｐｔｉｖｅＨｅｌｄ）不断地加大，感受野表东输出特征映射上??的像素点在输入特征映射上映射区域大校如图２．２所示，衰集一長卷积层的卷积核是３Ｘ３??１０??

非线性激活函数Ｓｉｇｍｏｉｄ，根据公式２－１可知Ｓｉｇｍｏｉｄ输??出为（０，１）区＿，可以表示有多少信息通过，当门限值趋近于〇时则信息几乎无法通过该门，??当门限值趋近于１时则信息几乎全部通过该门。ＬＳＴＭ单元中三个门的前向计算过程如公式??２－６?至?２－８。??ｈ?一??Ｇｇ—１?丨’＾￣??Ａ?Ｍ?▼??ｔａｎｈ??｜?ｆｔ?ｉ＾Ｘ）?〇ｆ｜￣￣??＜７ｆ?ｇｉ?ｔａｎｈ?（７〇??Ｖｉ！?ｈｔ??￣?：…—二广??細?２＿?３?：ＬＳ．ＴＭ?单：元??如图２．３，假定当前对应输入的第ｔ个特征则设ＬＳＴＭ单元的输入特征向纛为ｘｔ，??输出特征向最为ｈｔ，上一细胞状态为ｃｍ。输入门控制着细胞状态第ｔ－１个ＬＳＴＭ单元的输出??ｈｔ－ｉ和当前输入ｘｔ进入输入门，输入门中的１控＿着多少信息哥以存入■前细胞状态ｃｔ中，其??计．算．公式如下：．??＼?（２＿６）??遗忘ｎ决食上一个细胞状态Ｃｔ－１需：乗遗忘多少信鳥，其通过Ｓｉｇｍｏｉｄ函数进行计算得到ｆｔ??与上一个细胞状态相乘。更新上一细胞状态ＣＷ需要遗忘门与输入门相互配合，遗忘部分信息??后，通过输入门加入新的信息后得到新的细胞状态ｃｔ，更新过程如下：??ｆｔ?＝?＋?ｂ／）?（２＿７）??ｃ，?＝?ｆ．?ｅ?ｃ＾ｔ?＋?ｈ?ｅ?ｔａｎｈ＾．ｃｘ，?＋?＋?ｂ）??更新完细胞状态Ｃｔ；ｇ，输出门根据输入ｈＱ和Ｘｔ来决定输出细胞状态中的哪璧状态特征。??同榉由．Ｓｉｇｍｏｉｄ轉到判ｉ断条件，与细胞状态；相乘餐到：■前ＬＳＴＭ单元的输出ｈｔ。计算公式如??下＊??〇，?＝?ｃｒ（ｆｆ?ｘ?＋?ｆｆ，?ｈｆ?，?＋?ｂ?）??ｔ?ｘｏ?ｔ

【参考文献】：
期刊论文
[1]基于递归神经网络的端到端语音识别[J]. 王子龙,李俊峰,张劭韡,王宏岩,王思杰.  计算机与数字工程. 2019(12)
[2]基于二维Gabor小波与AR-LGC的人脸特征提取算法研究[J]. 倪永婧,孙袆,岳莹,郭志萍,高丽慧,刘微.  河北工业科技. 2019(04)
[3]基于LSTM循环神经网络的PM2.5预测[J]. 白盛楠,申晓留.  计算机应用与软件. 2019(01)
[4]基于生成式对抗网络的鲁棒人脸表情识别[J]. 姚乃明,郭清沛,乔逢春,陈辉,王宏安.  自动化学报. 2018(05)
[5]非对称方向性局部二值模式人脸表情识别[J]. 黄丽雯,杨欢欢,王勃.  计算机工程与应用. 2018(23)
[6]基于LBP-TOP特征的微表情识别[J]. 卢官明,杨成,杨文娟,闫静杰,李海波.  南京邮电大学学报(自然科学版). 2017(06)

博士论文
[1]面向文本数据的情感计算研究[D]. 陈炳丰.广东工业大学 2019



本文编号：3649830