基于CS-LOP和卷积神经网络的人脸表情识别
发布时间：2021-07-12 03:03
近些年来,人脸表情识别作为情感计算的分支吸引了国内外研究者的目光。目前,传统表情识别工作主要关注于特征提取,然而部分手工提取的特征由于鲁棒性低、表征能力弱等缺点无法满足表情识别准确率的要求。本文致力于设计具有良好表征能力、鲁棒性强的局部特征描述算子以提高表情识别的准确率。值得一提的是,深度学习凭借其优异的学习能力和良好的识别效果已获得许多研究人员的青睐,因此,本文将手工提取的表情特征与深度学习进行结合用于人脸表情识别,主要工作如下:（1）综述了表情识别研究的背景、意义和现状,介绍了目前使用较为广泛的人脸表情数据集,分析了课题研究中的难点。详细描述了表情识别系统中的各个流程,主要包括表情图像的预处理、特征提取、分类识别,此外还系统介绍了深度学习中有关表情识别的理论知识。（2）针对局部纹理描述符忽略了相邻像素点在各个方向上的灰度值关联关系问题,本文基于局部二值模式（Local Binary Pattern,LBP）和中心对称局部二值模式（Center-Symmetric Local Binary Pattern,CS-LBP）特征描述算子,提出了中心对称局部八值模式（Center-Symm...
【文章来源】：合肥工业大学安徽省 211工程院校 教育部直属院校
【文章页数】：63 页
【学位级别】：硕士
【部分图文】：
JAFFE库中部分人脸表情样本
合肥工业大学硕士学位论文4图1.2CK库中部分人脸表情样本Fig1.2SomeexpressionsamplesinCKdatabase（3）FER2013（FacialExpressionRecognitionDatabase）该数据集来自于Kaggle挑战赛，所有的表情样本都是通过谷歌搜索API从网络上自动收集的，样本均是自然条件下的人脸图像，其总量达到35000多张。由于自然条件下的人脸图像差异性较大，且部分表情样本存在遮挡、光照不均匀、旋转等问题，因此该数据集上的人脸表情识别存在较大难度。（4）MMI（ManMachineInteraction）荷兰代尔夫特理工大学的32个志愿者的六种基本表情共326个序列组成了MMI数据库，这其中213个表情序列被标注了类别。此数据库的表情开始都是中性表情然后到表情峰值之后再恢复为中性表情。由于该数据库中志愿者肤色和年龄差异较大，且部分志愿者佩戴装饰品，如眼镜等，此外还有部分视频序列是侧面拍摄，因此在MMI数据库上进行表情识别存在挑战性。图1.3展示了MMI库中的部分表情样例。图1.3MMI库中部分人脸表情样本Fig1.3SomeexpressionsamplesinMMIdatabase（5）AFEW（ActedFacialExpressionintheWild）该数据集是由电影片段中富含自发性表情的剪辑视频组成的，其中包含了面部遮挡、头部姿态偏转等图像，而且包含了视频和音频两种模态。目前，AFEW还处于更新状态，也不断增加了电视节目中的剪辑数据。其中，SFEW（StaticFacialExpressionintheWild）数据集是由AFEW库视频序列中截取的静态表情图像组成的。（6）BU-3DFE（BinghamtonUniversity3DFacialExpression）该数据集是由Binghamton大学创建的，包含了100多名年龄范围在18至70岁之间志愿者的六种表情类别的3D人脸图像样本。除中性表情外，每个个体每种
合肥工业大学硕士学位论文4图1.2CK库中部分人脸表情样本Fig1.2SomeexpressionsamplesinCKdatabase（3）FER2013（FacialExpressionRecognitionDatabase）该数据集来自于Kaggle挑战赛，所有的表情样本都是通过谷歌搜索API从网络上自动收集的，样本均是自然条件下的人脸图像，其总量达到35000多张。由于自然条件下的人脸图像差异性较大，且部分表情样本存在遮挡、光照不均匀、旋转等问题，因此该数据集上的人脸表情识别存在较大难度。（4）MMI（ManMachineInteraction）荷兰代尔夫特理工大学的32个志愿者的六种基本表情共326个序列组成了MMI数据库，这其中213个表情序列被标注了类别。此数据库的表情开始都是中性表情然后到表情峰值之后再恢复为中性表情。由于该数据库中志愿者肤色和年龄差异较大，且部分志愿者佩戴装饰品，如眼镜等，此外还有部分视频序列是侧面拍摄，因此在MMI数据库上进行表情识别存在挑战性。图1.3展示了MMI库中的部分表情样例。图1.3MMI库中部分人脸表情样本Fig1.3SomeexpressionsamplesinMMIdatabase（5）AFEW（ActedFacialExpressionintheWild）该数据集是由电影片段中富含自发性表情的剪辑视频组成的，其中包含了面部遮挡、头部姿态偏转等图像，而且包含了视频和音频两种模态。目前，AFEW还处于更新状态，也不断增加了电视节目中的剪辑数据。其中，SFEW（StaticFacialExpressionintheWild）数据集是由AFEW库视频序列中截取的静态表情图像组成的。（6）BU-3DFE（BinghamtonUniversity3DFacialExpression）该数据集是由Binghamton大学创建的，包含了100多名年龄范围在18至70岁之间志愿者的六种表情类别的3D人脸图像样本。除中性表情外，每个个体每种
【参考文献】：
期刊论文
[1]基于光流特征与高斯LDA的面部表情识别算法[J]. 刘涛,周先春,严锡君. 计算机科学. 2018(10)
[2]融合局部纹理和形状特征的人脸表情识别[J]. 胡敏,滕文娣,王晓华,许良凤,杨娟. 电子与信息学报. 2018(06)
[3]基于跨连接LeNet-5网络的面部表情识别[J]. 李勇,林小竹,蒋梦莹. 自动化学报. 2018(01)
[4]基于ROI-KNN卷积神经网络的面部表情识别[J]. 孙晓,潘汀,任福继. 自动化学报. 2016(06)
[5]基于梯度Gabor直方图特征的表情识别方法[J]. 胡敏,朱弘,王晓华,许良凤. 计算机辅助设计与图形学学报. 2013(12)
[6]基于背景图像差分的运动人体检测[J]. 曹丹华,邹伟,吴裕斌. 光电工程. 2007(06)
[7]人脸检测综述[J]. 孙宁,邹采荣,赵力. 电路与系统学报. 2006(06)
[8]人脸检测研究综述[J]. 梁路宏,艾海舟,徐光祐,张钹. 计算机学报. 2002(05)
硕士论文
[1]基于深度学习的人脸识别技术研究[D]. 姜健涛.哈尔滨工业大学 2019
[2]基于生成对抗网络的人脸表情识别方法研究[D]. 余胜男.合肥工业大学 2019
[3]人脸表情识别与自动标注研究[D]. 滕文娣.合肥工业大学 2018
[4]基于视频的人脸图像年龄估计[D]. 陈丽.济南大学 2015
本文编号：3279063
【文章来源】：合肥工业大学安徽省 211工程院校 教育部直属院校
【文章页数】：63 页
【学位级别】：硕士
【部分图文】：
JAFFE库中部分人脸表情样本
合肥工业大学硕士学位论文4图1.2CK库中部分人脸表情样本Fig1.2SomeexpressionsamplesinCKdatabase（3）FER2013（FacialExpressionRecognitionDatabase）该数据集来自于Kaggle挑战赛，所有的表情样本都是通过谷歌搜索API从网络上自动收集的，样本均是自然条件下的人脸图像，其总量达到35000多张。由于自然条件下的人脸图像差异性较大，且部分表情样本存在遮挡、光照不均匀、旋转等问题，因此该数据集上的人脸表情识别存在较大难度。（4）MMI（ManMachineInteraction）荷兰代尔夫特理工大学的32个志愿者的六种基本表情共326个序列组成了MMI数据库，这其中213个表情序列被标注了类别。此数据库的表情开始都是中性表情然后到表情峰值之后再恢复为中性表情。由于该数据库中志愿者肤色和年龄差异较大，且部分志愿者佩戴装饰品，如眼镜等，此外还有部分视频序列是侧面拍摄，因此在MMI数据库上进行表情识别存在挑战性。图1.3展示了MMI库中的部分表情样例。图1.3MMI库中部分人脸表情样本Fig1.3SomeexpressionsamplesinMMIdatabase（5）AFEW（ActedFacialExpressionintheWild）该数据集是由电影片段中富含自发性表情的剪辑视频组成的，其中包含了面部遮挡、头部姿态偏转等图像，而且包含了视频和音频两种模态。目前，AFEW还处于更新状态，也不断增加了电视节目中的剪辑数据。其中，SFEW（StaticFacialExpressionintheWild）数据集是由AFEW库视频序列中截取的静态表情图像组成的。（6）BU-3DFE（BinghamtonUniversity3DFacialExpression）该数据集是由Binghamton大学创建的，包含了100多名年龄范围在18至70岁之间志愿者的六种表情类别的3D人脸图像样本。除中性表情外，每个个体每种
合肥工业大学硕士学位论文4图1.2CK库中部分人脸表情样本Fig1.2SomeexpressionsamplesinCKdatabase（3）FER2013（FacialExpressionRecognitionDatabase）该数据集来自于Kaggle挑战赛，所有的表情样本都是通过谷歌搜索API从网络上自动收集的，样本均是自然条件下的人脸图像，其总量达到35000多张。由于自然条件下的人脸图像差异性较大，且部分表情样本存在遮挡、光照不均匀、旋转等问题，因此该数据集上的人脸表情识别存在较大难度。（4）MMI（ManMachineInteraction）荷兰代尔夫特理工大学的32个志愿者的六种基本表情共326个序列组成了MMI数据库，这其中213个表情序列被标注了类别。此数据库的表情开始都是中性表情然后到表情峰值之后再恢复为中性表情。由于该数据库中志愿者肤色和年龄差异较大，且部分志愿者佩戴装饰品，如眼镜等，此外还有部分视频序列是侧面拍摄，因此在MMI数据库上进行表情识别存在挑战性。图1.3展示了MMI库中的部分表情样例。图1.3MMI库中部分人脸表情样本Fig1.3SomeexpressionsamplesinMMIdatabase（5）AFEW（ActedFacialExpressionintheWild）该数据集是由电影片段中富含自发性表情的剪辑视频组成的，其中包含了面部遮挡、头部姿态偏转等图像，而且包含了视频和音频两种模态。目前，AFEW还处于更新状态，也不断增加了电视节目中的剪辑数据。其中，SFEW（StaticFacialExpressionintheWild）数据集是由AFEW库视频序列中截取的静态表情图像组成的。（6）BU-3DFE（BinghamtonUniversity3DFacialExpression）该数据集是由Binghamton大学创建的，包含了100多名年龄范围在18至70岁之间志愿者的六种表情类别的3D人脸图像样本。除中性表情外，每个个体每种
【参考文献】：
期刊论文
[1]基于光流特征与高斯LDA的面部表情识别算法[J]. 刘涛,周先春,严锡君. 计算机科学. 2018(10)
[2]融合局部纹理和形状特征的人脸表情识别[J]. 胡敏,滕文娣,王晓华,许良凤,杨娟. 电子与信息学报. 2018(06)
[3]基于跨连接LeNet-5网络的面部表情识别[J]. 李勇,林小竹,蒋梦莹. 自动化学报. 2018(01)
[4]基于ROI-KNN卷积神经网络的面部表情识别[J]. 孙晓,潘汀,任福继. 自动化学报. 2016(06)
[5]基于梯度Gabor直方图特征的表情识别方法[J]. 胡敏,朱弘,王晓华,许良凤. 计算机辅助设计与图形学学报. 2013(12)
[6]基于背景图像差分的运动人体检测[J]. 曹丹华,邹伟,吴裕斌. 光电工程. 2007(06)
[7]人脸检测综述[J]. 孙宁,邹采荣,赵力. 电路与系统学报. 2006(06)
[8]人脸检测研究综述[J]. 梁路宏,艾海舟,徐光祐,张钹. 计算机学报. 2002(05)
硕士论文
[1]基于深度学习的人脸识别技术研究[D]. 姜健涛.哈尔滨工业大学 2019
[2]基于生成对抗网络的人脸表情识别方法研究[D]. 余胜男.合肥工业大学 2019
[3]人脸表情识别与自动标注研究[D]. 滕文娣.合肥工业大学 2018
[4]基于视频的人脸图像年龄估计[D]. 陈丽.济南大学 2015
本文编号：3279063
本文链接：https://www.wllwen.com/kejilunwen/shengwushengchang/3279063.html
最近更新
教材专著
