鲁棒微表情关键点定位及特征提取算法研究
发布时间：2021-07-30 19:44
微表情是一种特殊的面部微小动作,通常是人们在某些环境下试图隐藏而不由自主发生的一种短暂情感,可以作为判断情绪的重要依据。相关研究是情感计算领域的重要研究方向,且具有广泛的应用前景。持续时间短、变化强度低、局部不对称以及环境因素等影响,使得微表情的检测和识别变得非常困难。为此,本文提出了鲁棒微表情关键点定位及特征提取算法,并应用于人脸微表情识别。论文工作如下:（1）研究分析了三种基于深度学习的人脸关键点定位网络模型,即精细化卷积神经网络（Coarse to Fine CNN）、多任务卷积神经网络（Multi-Task CNN）以及风格聚合网络（Style Aggregated Network,SAN）。在300W数据集和真实环境下的对比实验表明,与其它两种网络模型相比,SAN模型对环境及姿态变化具有更强的鲁棒性。因此本文选定基于SAN的人脸关键点定位算法用于本文所提的微表情特征提取与识别算法。（2）提出了一种样本分布均衡约束的微表情特征提取与识别算法。微表情很难被捕捉和模仿,因此现有相关数据集均存在样本分布不均衡的问题并影响模型训练的效果。为解决这一问题,本文设计了一种样本分布均衡损失,...
【文章来源】：北京交通大学北京市 211工程院校 教育部直属院校
【文章页数】：68 页
【学位级别】：硕士
【部分图文】：
图１－３ＦＥＲ２０１３数据集中常见的宏观表情（摘自［１１］）??Ｆｉｇｕｒｅ?１－３?Ｍａｃｒｏ?ｅｘｐｒｅｓｓｉｏｎｓ?ｃｏｍｍｏｎ?ｉｎ?ＦＥＲ２０１３?ｄａｔａｓｅｔ?（Ｃｏｐｉｅｄ?ｆｒｏｍ?ｌｌｌ］）??
２．１．２网络结构??该系统的每一级网络都是深度卷积神经网络，网络的输入为原始像素，对期??望点的坐标执行回归训练。如图２－２所示，是典型的深度神经网络的结构单元。??ｃｏｎｖ．?ｃｏｎｖ．??夢?５６?ｃｏｎｖ．?ｕｎｓｈａｒｅｄ??．．．．■??？?６〇?６０?８〇??４０??１?２０?２０?４０?ｆｕｌｌｙ??ｍａｘｐ．?ｍａｘｐ．?ｎｉａｘｐ．?ｃｏｎｎｅｃｔｅｄ??图２－２典型的深度神经网络的结构单元??Ｆｉｇｕｒｅ?２－２?Ｓｔｒｕｃｔｕｒａｌ?ｕｎｉｔ?ｏｆ?ａ?ｔｙｐｉｃａｌ?ｄｅｅｐ?ｎｅｕｒａｌ?ｎｅｔｗｏｒｋ??该网络由三个卷积层，一个非共享卷积层和全连接层组成。每个卷积层使用??不同的滤波器得到不同的输出响应。设／＇为第？个卷积层的输入，计算出该层输出：??ｈｊ－＼?ｗ，－］?ｃ，－＼??＝｜?ｔａｎｈ（ＸＩＺＣ＾．－?＊Ｋｙ＾Ｂｋ）＼?（２－１）??ｊｃ＝〇?产?〇?ｒ＝〇??其中，Ｉ表示卷积层的输入，Ｆ和Ｂ是可调参数。卷积层之后跟着最大池化层，在??池化之前，每个卷积层滤波之后的激活函数采用双曲正切绝对值函数，其为网络??提供很好的非线性拟合的能力。网络采用无重叠的最大池化：??７，，从＝。』爲?＜／Ｃ—’？＋＃?）?（?２－２?）??尽管池化层会丢失一些信息，但是对于整个网络而言，池化带来的稳健性能??够较好地补偿这种损失
—．—＿?Ｓｒ??图２－１精细化卷积神经网络的系统架构??Ｆｉｇｕｒｅ?２－１?Ｔｈｅ?ｓｙｓｔｅｍ?ａｒｃｈｉｔｅｃｔｕｒｅ?ｏｆ?Ｃｏａｒｓｅ?ｔｏ?Ｆｉｎｅ?ＣＮＮ??２．１．２网络结构??该系统的每一级网络都是深度卷积神经网络，网络的输入为原始像素，对期??望点的坐标执行回归训练。如图２－２所示，是典型的深度神经网络的结构单元。??ｃｏｎｖ．?ｃｏｎｖ．??夢?５６?ｃｏｎｖ．?ｕｎｓｈａｒｅｄ??．．．．■??？?６〇?６０?８〇??４０??１?２０?２０?４０?ｆｕｌｌｙ??ｍａｘｐ．?ｍａｘｐ．?ｎｉａｘｐ．?ｃｏｎｎｅｃｔｅｄ??图２－２典型的深度神经网络的结构单元??Ｆｉｇｕｒｅ?２－２?Ｓｔｒｕｃｔｕｒａｌ?ｕｎｉｔ?ｏｆ?ａ?ｔｙｐｉｃａｌ?ｄｅｅｐ?ｎｅｕｒａｌ?ｎｅｔｗｏｒｋ??该网络由三个卷积层，一个非共享卷积层和全连接层组成。每个卷积层使用??不同的滤波器得到不同的输出响应。设／＇为第？个卷积层的输入，计算出该层输出：??ｈｊ－＼?ｗ，－］?ｃ，－＼??＝｜?ｔａｎｈ（ＸＩＺＣ＾．－?＊Ｋｙ＾Ｂｋ）＼?（２－１）??ｊｃ＝〇?产?〇?ｒ＝〇??其中，Ｉ表示卷积层的输入，Ｆ和Ｂ是可调参数。卷积层之后跟着最大池化层，在??池化之前，每个卷积层滤波之后的激活函数采用双曲正切绝对值函数，其为网络??提供很好的非线性拟合的能力。网络采用无重叠的最大池化：??７
【参考文献】：
期刊论文
[1]人脸微表情识别综述[J]. 徐峰,张军平. 自动化学报. 2017(03)
[2]光流模值估计的微表情捕捉[J]. 姜波,解仑,刘欣,韩晶,王志良. 浙江大学学报(工学版). 2017(03)
[3]微表情研究及其应用[J]. 吴奇,申寻兵,傅小兰. 心理科学进展. 2010(09)
硕士论文
[1]微表情特征提取算法研究[D]. 马浩原.北京交通大学 2018
[2]基于深度学习的微表情特征提取算法设计与实现[D]. 杨雪.北京交通大学 2017
[3]基于深度学习的鲁棒表情关键点定位算法设计与实现[D]. 彭营营.北京交通大学 2017
[4]微表情识别的理论和方法研究[D]. 刘宇灏.东南大学 2016
本文编号：3312013
【文章来源】：北京交通大学北京市 211工程院校 教育部直属院校
【文章页数】：68 页
【学位级别】：硕士
【部分图文】：
图１－３ＦＥＲ２０１３数据集中常见的宏观表情（摘自［１１］）??Ｆｉｇｕｒｅ?１－３?Ｍａｃｒｏ?ｅｘｐｒｅｓｓｉｏｎｓ?ｃｏｍｍｏｎ?ｉｎ?ＦＥＲ２０１３?ｄａｔａｓｅｔ?（Ｃｏｐｉｅｄ?ｆｒｏｍ?ｌｌｌ］）??
２．１．２网络结构??该系统的每一级网络都是深度卷积神经网络，网络的输入为原始像素，对期??望点的坐标执行回归训练。如图２－２所示，是典型的深度神经网络的结构单元。??ｃｏｎｖ．?ｃｏｎｖ．??夢?５６?ｃｏｎｖ．?ｕｎｓｈａｒｅｄ??．．．．■??？?６〇?６０?８〇??４０??１?２０?２０?４０?ｆｕｌｌｙ??ｍａｘｐ．?ｍａｘｐ．?ｎｉａｘｐ．?ｃｏｎｎｅｃｔｅｄ??图２－２典型的深度神经网络的结构单元??Ｆｉｇｕｒｅ?２－２?Ｓｔｒｕｃｔｕｒａｌ?ｕｎｉｔ?ｏｆ?ａ?ｔｙｐｉｃａｌ?ｄｅｅｐ?ｎｅｕｒａｌ?ｎｅｔｗｏｒｋ??该网络由三个卷积层，一个非共享卷积层和全连接层组成。每个卷积层使用??不同的滤波器得到不同的输出响应。设／＇为第？个卷积层的输入，计算出该层输出：??ｈｊ－＼?ｗ，－］?ｃ，－＼??＝｜?ｔａｎｈ（ＸＩＺＣ＾．－?＊Ｋｙ＾Ｂｋ）＼?（２－１）??ｊｃ＝〇?产?〇?ｒ＝〇??其中，Ｉ表示卷积层的输入，Ｆ和Ｂ是可调参数。卷积层之后跟着最大池化层，在??池化之前，每个卷积层滤波之后的激活函数采用双曲正切绝对值函数，其为网络??提供很好的非线性拟合的能力。网络采用无重叠的最大池化：??７，，从＝。』爲?＜／Ｃ—’？＋＃?）?（?２－２?）??尽管池化层会丢失一些信息，但是对于整个网络而言，池化带来的稳健性能??够较好地补偿这种损失
—．—＿?Ｓｒ??图２－１精细化卷积神经网络的系统架构??Ｆｉｇｕｒｅ?２－１?Ｔｈｅ?ｓｙｓｔｅｍ?ａｒｃｈｉｔｅｃｔｕｒｅ?ｏｆ?Ｃｏａｒｓｅ?ｔｏ?Ｆｉｎｅ?ＣＮＮ??２．１．２网络结构??该系统的每一级网络都是深度卷积神经网络，网络的输入为原始像素，对期??望点的坐标执行回归训练。如图２－２所示，是典型的深度神经网络的结构单元。??ｃｏｎｖ．?ｃｏｎｖ．??夢?５６?ｃｏｎｖ．?ｕｎｓｈａｒｅｄ??．．．．■??？?６〇?６０?８〇??４０??１?２０?２０?４０?ｆｕｌｌｙ??ｍａｘｐ．?ｍａｘｐ．?ｎｉａｘｐ．?ｃｏｎｎｅｃｔｅｄ??图２－２典型的深度神经网络的结构单元??Ｆｉｇｕｒｅ?２－２?Ｓｔｒｕｃｔｕｒａｌ?ｕｎｉｔ?ｏｆ?ａ?ｔｙｐｉｃａｌ?ｄｅｅｐ?ｎｅｕｒａｌ?ｎｅｔｗｏｒｋ??该网络由三个卷积层，一个非共享卷积层和全连接层组成。每个卷积层使用??不同的滤波器得到不同的输出响应。设／＇为第？个卷积层的输入，计算出该层输出：??ｈｊ－＼?ｗ，－］?ｃ，－＼??＝｜?ｔａｎｈ（ＸＩＺＣ＾．－?＊Ｋｙ＾Ｂｋ）＼?（２－１）??ｊｃ＝〇?产?〇?ｒ＝〇??其中，Ｉ表示卷积层的输入，Ｆ和Ｂ是可调参数。卷积层之后跟着最大池化层，在??池化之前，每个卷积层滤波之后的激活函数采用双曲正切绝对值函数，其为网络??提供很好的非线性拟合的能力。网络采用无重叠的最大池化：??７
【参考文献】：
期刊论文
[1]人脸微表情识别综述[J]. 徐峰,张军平. 自动化学报. 2017(03)
[2]光流模值估计的微表情捕捉[J]. 姜波,解仑,刘欣,韩晶,王志良. 浙江大学学报(工学版). 2017(03)
[3]微表情研究及其应用[J]. 吴奇,申寻兵,傅小兰. 心理科学进展. 2010(09)
硕士论文
[1]微表情特征提取算法研究[D]. 马浩原.北京交通大学 2018
[2]基于深度学习的微表情特征提取算法设计与实现[D]. 杨雪.北京交通大学 2017
[3]基于深度学习的鲁棒表情关键点定位算法设计与实现[D]. 彭营营.北京交通大学 2017
[4]微表情识别的理论和方法研究[D]. 刘宇灏.东南大学 2016
本文编号：3312013
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3312013.html
