基于卷积神经网络的面部表情识别算法研究

发布时间：2021-01-01 17:55

　　目前的面部表情识别任务中,卷积神经网络（Convolutional Neural Networks,CNN）和局部二值模式（Local Binary Patterns,LBP）只能提取面部表情单一特征,难以提取与面部变化高度相关的精确特征,从而影响表情识别的效果。此外,传统的损失函数难以较好地区分面部表情特征中的类间距离和类内距离,从而无法对提取到的特征进行有效判别。因此,本文以简化的VGG卷积神经网络为框架,搭配新型加性角度间隔损失函数进行了深入研究,对提高面部表情识别的准确度具有重要意义。本文提出了一种基于VGG网络的特征融合的面部表情识别方法,该方法将LBP特征和CNN卷积层提取的特征通过加权的方式结合在改进的VGG-16网络连接层中,最后将融合特征送入Softmax分类器获取各类特征的概率,完成基本的六种表情分类。实验结果表明,所提方法在CK+和JAFFE数据集上的平均识别准确度分别达到了97.5%和97.62%,融合特征得到的识别结果明显优于单一特征识别。与其他方法相比较,该方法能有效提高表情识别准确度,对光照变化更加鲁棒。本文还提出一种新型加性角度间隔损失函数,对传统的So... 

【文章来源】：重庆邮电大学重庆市

【文章页数】：77 页

【学位级别】：硕士

【部分图文】：

表情识别流程步骤

?Gabor小波面部特征提取如图2.2所示。BayezidIslam[16]等人使用2DGabor滤波器从表达区域中提取表情特征，然后使用主成分分析方法对特征降维。Soumaya[17]等人使用Gabor小波提取前额和眉间区域的皱纹特征信息，作者认为Gabor小波对皱纹检测非常鲁棒且有效。Gabor小波可以用图像纹理表示特征信息，它可以有效的提取面部目标的局部空间信息和频率域信息。此外，Gabor小波对于图像灰度边缘处敏感，对空间位置有较好地描述能力，并且对光照不敏感。但Gabor变换效率低下，且经常使用全局特征，使得在计算时非常消耗内存。图2.2Gabor小波面部特征提取3.局部二值模式基于直方图的LBP特征[18,19]提取法，即局部二值模式特征，通过对图像纹理灰度进行分析得到分类能力良好的LBP特征。这类特征具有灰度不变性和旋转不变性，图2.3为从面部图像中提取LBP直方图。YuechuanSun[20]等人结合了LBP和Gabor两种面部描述符，应用特征融合的方式将两种特征向量融合，最后在表情数据集上

重庆邮电大学硕士学位论文第2章表情识别相关理论9取得了较好的识别率，实验还证明了与仅使用Gabor或LBP描述子相比，该方法可提高性能。YuanyuanDing[21]等人提出了双局部二进制模式（DLBP），从视频中检测出峰值表情郑此外，为了处理LBP中的照度变化，进一步提出了对数-拉普拉斯（LL）域，以获得更加鲁棒的面部特征进行检测。图2.3LBP直方图与Gabor小波相比，LBP算子需要更少的存储空间并具有更高的计算效率。但是，LBP运算符对带有噪点的图像的处理并不好，因为它仅考虑图片中心及其附近的像素特征，忽略了幅度差异，这就使得在表情的表达上容易产生较高的维数，影响识别速度。4.光流法为了研究动态序列图片的表情特征提取，Gibson提出了光流法，该方法通过抓取图像序列中的不同灰度变化以及不同帧的变化找到物体运动状态，光流将二维的速度场与图像灰度相结合，提取连续的运动面部图像序列的特征。图2.4为光流法提取特征点示意图。N.Zainudin[22]等人使用光流技术检测面部表情的变化，还采用了Horn-Schunck技术方法来优化结果。赵剑锋[23]等人提出了一种3DCNN架构，该架构从光流序列中提取面部的动态特征，根据成对的图像计算面部肌肉运动状况的光流信息，通过实验证明了该算法的优越性，并表明光流的垂直分量在识别面部表情方面比其他分量更具优势。DeepakGhimire[24]等人利用鲁棒的光流来获取每个局部区域在不同方向上的平均光流，同时考虑局部统计运动信息及其空间位置。从关键帧中提取区域特定的LBP特征，并将其与平均光流特征相融合，该面部表情识别系统在CK+面部表情数据集上得到有效验证。

【参考文献】：
期刊论文
[1]基于加权KNN与随机森林的表情识别方法[J]. 冯开平,赖思渊.  软件导刊. 2018(11)
[2]基于跨连接LeNet-5网络的面部表情识别[J]. 李勇,林小竹,蒋梦莹.  自动化学报. 2018(01)



本文编号：2951736