基于图像的情绪识别方法研究
发布时间：2021-10-22 06:14
人脸识别技术越来越多地应用于当今世界的各个场景与产品中。人脸识别是实现自然的人机交互（HCI）的基本手段之一。情绪识别是进一步研究人机交互的重中之重。情绪的复杂性使得信息采集的这一任务在这项工作中变得更加困难。本文在研究了人脸识别与情绪识别方法后,结合实验室已有的NAO机器人,设计了一个初步的人机交互系统。本文主要的工作如下。首先介绍了一种应用LBP算子进行图像预处理的方法。利用LBP特征的旋转不变以及灰度不变两大特性,对图像中光照引起的噪声进行了消除,同时减少了训练模型所需的数据量。为了获取更准确地人脸信息以便用于情绪识别,我们对图像中的人脸进行了三维重建。与常规进行人脸重建时不同的是,在卷积神经网络模型训练时对输入图像应用LBP算法进行预处理,相比于直接输入RGB图像可以有效减少训练集中由于光照因素所带来的干扰,提高了模型的准确率。接下来建立了一个多模态的实时人脸情绪识别系统,通过图像对进行人脸检测与情绪识别,利用声音作为辅助手段进一步提高识别的成功率与准确率。使用的CNN网络是一种改进的VGG-16网络模型,整个系统主要由语音识别器、人脸检测器以及情绪预测器构成。使用FER201...
【文章来源】：青岛科技大学山东省
【文章页数】：84 页
【学位级别】：硕士
【部分图文】：
注意级联结构
青岛科技大学研究生学位论文3123输入子窗口进一步处理拒绝子窗口TTTFFF图1-1注意级联结构Figure1-1TheAttentionalCascade1.2.2特征提取的研究现状如前所述，由于存储和计算资源的快速发展，基于外观的方法主导了人脸识别的最新进展。一般做法为收集大量样本，包括含有人脸以及没有人脸的两种样本，采用相关机器学习算法来学习模型从而完成分类。这一任务包括两个关键点，需要获得什么样的特征与选择何种应用算法。解决这两个问题为进一步发展人脸识别的重点所在。Haar-like矩形特征由于采用了积分成像技术，计算速度非常快，为构建正面人脸探测器提供了良好的性能。后续的研究中简单的特征得到了拓展，在矩形特征的组合方式上存在更多变化。一部分人注意到文献[1]中原始的Haar-like特征集在多视图人脸检测方面的不足，并提出通过允许更灵活的矩形区域组合来扩展特征集。例如，在文献[11]中，在检测子窗口中定义了三种类型的特征，如图1-2所示。作者认为，这些特征可能是不对称的，以迎合非正面面孔的不对称特征。Jones和Viola[12]也提出了一个类似的特征，称为对角滤波器，如图1-3所示。+2-2+1+1-2+1-1-1+1dxdxdxdydydyxydx’dx’xyxy图1-2文献[11]中介绍的具有灵活尺寸和距离的矩形特征Figure1-2Rectangularfeatureswithflexiblesizesanddistancesintroducedin[11]
基于图像的情绪识别方法研究4图1-3文献[12]中介绍的对角线滤波器Figure1-3Diagonalfiltersin[12]Jones等人进一步拓展了Haar-like特征集，用作基于视频行为的行人检测的运动滤波图像。要注意的是运动滤波图像的构建尺度不是不变的，也就是说，当检测到不同尺度的行人时，需要重新计算这些过滤后的图像。通过首先为它构建一个不同尺度的图像金字塔，并使用金字塔的逐层计算过滤后的图像来实现。Mita等[8]提出了基于多个Haar-like特征共现的联合Haar-like特征。Mita觉得特征共现能够更好的提取人脸特征，这使得组建性能更好的分类器成为可能。联合Haar-like特征采用相似的特征计算和阈值化方案，但仅将Haar-like特征的二进制输出连接到一个可能为2的组合的索引中，其中F为组合特征的数量。为了寻找计算复杂度有限的特征共现，作者采用了次优序前向选择方案。为了避免统计上的不可靠性，数字F也被启发式地限制了。在某种程度上，上述Haar-like特征类似于[13]中探索的CART树。结果表明，基于CART树的弱分类器能够以较小的速度损失改进各种增强算法的结果。另一个改进弱分类器的变体中，提出使用单一Haar-like特征，并将特征值平等地放入直方图中，以用于RealBoost学习算法。与Haar-like联合特征中的F数相似，直方图的bin数对最终检测器的性能至关重要。文献[9]中建议使用64个回收箱，在他们后来的工作[14]中，特别指出直方图的粒度太细可能会导致过拟合，并建议在级联的前几层使用细粒度，在后几层使用粗粒度。文献[15]提出了一种新的弱分类器，成为贝叶斯残差（Bayesianstump）。贝叶斯残差也是一种基于直方图的弱分类器，但是贝叶斯残差的分割阈值是由迭代分割和归并操作得到的，而不是等距固定的。实验结果表明这种灵活的多分割阈值方案对于提
【参考文献】：
期刊论文
[1]一种改进的局部嵌入网络人脸图像分类方法[J]. 刘道华,王莎莎,杨志鹏,崔玉爽. 西安电子科技大学学报. 2020(04)
[2]关键点深度特征驱动人脸表情识别[J]. 王善敏,帅惠,刘青山. 中国图象图形学报. 2020(04)
[3]基于情感信息辅助的多模态情绪识别[J]. 吴良庆,刘启元,张栋,王建成,李寿山,周国栋. 北京大学学报(自然科学版). 2020(01)
[4]基于多任务学习的多模态情绪识别方法[J]. 吴良庆,张栋,李寿山,陈瑛. 计算机科学. 2019(11)
[5]基于面部表情的学习者情绪自动识别研究——适切性、现状、现存问题和提升路径[J]. 陈子健,朱晓亮. 远程教育杂志. 2019(04)
硕士论文
[1]基于语音和面部表情融合的情绪识别算法研究及其实现[D]. 王喆.北方工业大学 2018
[2]基于脑电信号和眼动信号融合的多模态情绪识别研究[D]. 陆怡菲.上海交通大学 2017
本文编号：3450537
【文章来源】：青岛科技大学山东省
【文章页数】：84 页
【学位级别】：硕士
【部分图文】：
注意级联结构
青岛科技大学研究生学位论文3123输入子窗口进一步处理拒绝子窗口TTTFFF图1-1注意级联结构Figure1-1TheAttentionalCascade1.2.2特征提取的研究现状如前所述，由于存储和计算资源的快速发展，基于外观的方法主导了人脸识别的最新进展。一般做法为收集大量样本，包括含有人脸以及没有人脸的两种样本，采用相关机器学习算法来学习模型从而完成分类。这一任务包括两个关键点，需要获得什么样的特征与选择何种应用算法。解决这两个问题为进一步发展人脸识别的重点所在。Haar-like矩形特征由于采用了积分成像技术，计算速度非常快，为构建正面人脸探测器提供了良好的性能。后续的研究中简单的特征得到了拓展，在矩形特征的组合方式上存在更多变化。一部分人注意到文献[1]中原始的Haar-like特征集在多视图人脸检测方面的不足，并提出通过允许更灵活的矩形区域组合来扩展特征集。例如，在文献[11]中，在检测子窗口中定义了三种类型的特征，如图1-2所示。作者认为，这些特征可能是不对称的，以迎合非正面面孔的不对称特征。Jones和Viola[12]也提出了一个类似的特征，称为对角滤波器，如图1-3所示。+2-2+1+1-2+1-1-1+1dxdxdxdydydyxydx’dx’xyxy图1-2文献[11]中介绍的具有灵活尺寸和距离的矩形特征Figure1-2Rectangularfeatureswithflexiblesizesanddistancesintroducedin[11]
基于图像的情绪识别方法研究4图1-3文献[12]中介绍的对角线滤波器Figure1-3Diagonalfiltersin[12]Jones等人进一步拓展了Haar-like特征集，用作基于视频行为的行人检测的运动滤波图像。要注意的是运动滤波图像的构建尺度不是不变的，也就是说，当检测到不同尺度的行人时，需要重新计算这些过滤后的图像。通过首先为它构建一个不同尺度的图像金字塔，并使用金字塔的逐层计算过滤后的图像来实现。Mita等[8]提出了基于多个Haar-like特征共现的联合Haar-like特征。Mita觉得特征共现能够更好的提取人脸特征，这使得组建性能更好的分类器成为可能。联合Haar-like特征采用相似的特征计算和阈值化方案，但仅将Haar-like特征的二进制输出连接到一个可能为2的组合的索引中，其中F为组合特征的数量。为了寻找计算复杂度有限的特征共现，作者采用了次优序前向选择方案。为了避免统计上的不可靠性，数字F也被启发式地限制了。在某种程度上，上述Haar-like特征类似于[13]中探索的CART树。结果表明，基于CART树的弱分类器能够以较小的速度损失改进各种增强算法的结果。另一个改进弱分类器的变体中，提出使用单一Haar-like特征，并将特征值平等地放入直方图中，以用于RealBoost学习算法。与Haar-like联合特征中的F数相似，直方图的bin数对最终检测器的性能至关重要。文献[9]中建议使用64个回收箱，在他们后来的工作[14]中，特别指出直方图的粒度太细可能会导致过拟合，并建议在级联的前几层使用细粒度，在后几层使用粗粒度。文献[15]提出了一种新的弱分类器，成为贝叶斯残差（Bayesianstump）。贝叶斯残差也是一种基于直方图的弱分类器，但是贝叶斯残差的分割阈值是由迭代分割和归并操作得到的，而不是等距固定的。实验结果表明这种灵活的多分割阈值方案对于提
【参考文献】：
期刊论文
[1]一种改进的局部嵌入网络人脸图像分类方法[J]. 刘道华,王莎莎,杨志鹏,崔玉爽. 西安电子科技大学学报. 2020(04)
[2]关键点深度特征驱动人脸表情识别[J]. 王善敏,帅惠,刘青山. 中国图象图形学报. 2020(04)
[3]基于情感信息辅助的多模态情绪识别[J]. 吴良庆,刘启元,张栋,王建成,李寿山,周国栋. 北京大学学报(自然科学版). 2020(01)
[4]基于多任务学习的多模态情绪识别方法[J]. 吴良庆,张栋,李寿山,陈瑛. 计算机科学. 2019(11)
[5]基于面部表情的学习者情绪自动识别研究——适切性、现状、现存问题和提升路径[J]. 陈子健,朱晓亮. 远程教育杂志. 2019(04)
硕士论文
[1]基于语音和面部表情融合的情绪识别算法研究及其实现[D]. 王喆.北方工业大学 2018
[2]基于脑电信号和眼动信号融合的多模态情绪识别研究[D]. 陆怡菲.上海交通大学 2017
本文编号：3450537
本文链接：https://www.wllwen.com/kejilunwen/shengwushengchang/3450537.html
最近更新
教材专著
