基于微表情的智能教学管理系统关键技术研究

发布时间：2020-11-11 22:42

　　远程教学过程中学生情绪变化与学习状态的研究一直是心理学和计算机视觉领域的研究热点。微表情作为一种无抑制且自发的面部表情更能体现学生内心的真实想法,其对远程教学的普及、远程教学质量的提升意义重大。然而,在微表情发生时,由于其持续时间非常短、所涉及的肌肉运动强度也非常低,使得该问题成为研究领域的难点。本文提出基于局部关键区域特征的微表情检测及识别方法来解决现有的基于全局区域特征的微表情检测及识别方法在实际应用中所存在的问题,并利用所提方法设计与开发一个基于微表情的智能教学管理系统,来对远程教学过程中学生的课堂情感信息进行有效的检测与识别。本文所做的主要研究工作如下:(1)目前,现有的基于全局区域特征的微表情检测及识别方法会降低所提特征对于微表情的描述能力。为解决其存在的问题,本文根据主观形状模型所检测到的人脸特征点坐标以及微表情发生时脸部动作编码系统的运动特征,将与微表情发生时所牵扯的6个局部关键区域划分出来。在此基础上,对于微表情检测部分,分别提取出所划分的局部关键区域的局部二值模式特征,然后对所提特征进行特征差异分析来实现微表情的检测;对于微表情识别部分,首先分别提取出所划分的局部关键区域的三个正交平面的局部二值模式特征,然后将所有局部关键区域所提特征进行串联构成特征向量,最后使用支持向量机对特征向量进行分类来实现微表情的识别。(2)在自发的微表情数据库CASMEⅡ上进行了方法对比实验。实验结果显示:本文所提出的基于局部关键区域特征的微表情检测及识别方法其对微表情的检测与识别效果明显优于基于全局区域特征的检测及识别方法,充分说明了微表情发生时只会涉及到局部关键区域的运动特征,使得所提方法更具有实用性。(3)以国内外课堂心理学研究为依据将课堂学习状态划分为喜欢度、投入度、理解度三个维度,并结合微表情数据库CASMEⅡ上所定义的七种基本微表情来对课堂情感进行复合评价;以所提方法及情感体系为依据,为了使系统功能更加完备,将系统功能拓展为微表情自动检测、微表情自动识别、图片表情自动识别、视频表情自动识别、人数统计5个部分;最终,实现了基于微表情的智能教学管理系统。
【学位单位】：大连海事大学
【学位级别】：硕士
【学位年份】：2020
【中图分类】：G434;TP391.41;TP311.52
【部分图文】：

分布图,解剖学,面部,肌肉

?基于微表情的智能教学管理系统关键技术研究???１．４脸部动作编码系统ＦＡＣＳ??２００２年Ｅｋｍａｎ等Ｍｌ为了进一步地细化及完善面部表情，研发了表情训练工具（Ｍｉｃｒｏ??ｅｘｐｒｅｓｓｉｏｎ?ｔｒａｉｎｉｎｇ?ｔｏｏｌ，ＭＥＴＴ），并且与？１＾．５６１１等［１８］根据不同脸部肌肉模块的动作与??不同表情的对应关系开发出脸部动作编码系统（ＦａｃｉａｌＡｃｔｉｏｎＣｏｄｉｎｇＳｙｓｔｅｍ，ＦＡＣＳ）。??ＦＡＣＳ以面部解剖学原理为基础将人脸划分为４４个既相对独立又相互联系的运动单元??（Ａｃｔｉｏｎ?Ｕｎｉｔｅ，ＡＵ），人脸某一时亥（Ｊ戶万发生的局部肌肉动作者可以通过ＡＵ来进行表示，??例如ＡＵ２代表眉毛外端上扬，ＡＵ３代表眉毛下垂等。在人脸发生情感变化时，每个ＡＵ??单独或者以组合的形式进行编码便可以呈现出人脸的表情。ＦＡＣＳ编码系统的提出为国??内外很多情感研究机构指明了研究方向，在情感识别领域占据着重要的地位。图１．３展??示了面部解剖学主要肌肉模块的分布，表１．１给出了不同情感类别的ＦＡＣＳ描述。??降眉Ｎｌ肌??帽麵膜??颈阔肌??Ｌ?Ｉ??降下唇肌??降口角肌?１??颏肌??图１．?３面部解剖学主要肌肉模块分布图??Ｆｉｇ．?１．３?Ｄｉｓｔｒｉｂｕｔｉｏｎ?ｏｆ?ｍａｊｏｒ?ｍｕｓｃｌｅ?ｍｏｄｕｌｅｓ?ｉｎ?ｆａｃｉａｌ?ａｎａｔｏｍｙ??－４?－??

流程图,人脸检测,算法,流程

Ｅ?等［５５］所提出的?Ａｄａｂｏｏｓｔ?（Ａｄａｐｔｉｖｅ?Ｂｏｏｓｔｉｎｇ）算法是目前??人脸识别领域中一种被广泛应用的人脸检测方法，该算法检测率高且具有实时性，使??人脸检测技术由理论研究走向了实际应用。??Ａｄａｂｏｏｓｔ算法的核心思想是将通过训练得到的弱分类器进行一定程度上的组合，得??到一个强分类器，即以改变样本概率分布的方式来进行弱分类器的训练，如果样本分类??正确，则降低其样本权重；如果样本分类错误，则增大其样本权重。基于Ａｄａｂｏｏｓｔ算法??的人脸检测的基本流程如图２．３所示。??人脸样本?非人脸样?输入图像???＾?＾?－???训练??？检测???＾?［??”??生成分类器?１?输出结果??图２．?３基于Ａｄａｂｏｏｓｔ算法的人脸检测流程??Ｆｉｇ．?２．３?Ｆａｃｅ?ｄｅｔｅｃｔｉｏｎ?ｐｒｏｃｅｓｓ?ｂａｓｅｄ?ｏｎ?ＡｄａＢｏｏｓｔ?ａｌｇｏｒｉｔｈｍ??Ｈａａｒ－Ｈｋｅ特征又称为矩形特征，其是模式识别领域的一种常用的特征。其基本原理??是将白色区域像素之和与黑色区域的像素值之和的差值作为特征值，进而来描述矩形之??间的灰度差异。ＬｉｃｎＨａｒｔ和Ｍａｙｄｔｆ５ｆ＞１１提出了三种Ｈａａｒ－ｌｉｋｅ特征模板，如图２．４所示，图??中Ａ、Ｂ为边缘特征；Ｃ、Ｄ为线性特征；Ｅ为对角线特征。由于人脸特征部位的灰度信??息与肤色有很大的差别，因此Ｈａａｒ－ｌｉｋｅ特征能对人脸结构进行简单的描述。??Ａ?Ｂ?Ｃ?Ｄ?Ｅ??图２．?４常用Ｈａａｒ－Ｈｋｅ特征模板??Ｆｉｇ．?２．４?Ｃｏｍｍｏｎｌｙ?ｕｓｅｄ?Ｈａａｒ－ｌｉｋｅ?ｆｅａｔｕｒｅ?ｔｅｍｐｌａｔｅｓ??－１

概率分布,模板,人脸检测,样本