基于RealSense的自发学习表情识别研究

发布时间：2020-10-23 08:36

　　 情感在人的生活中发挥重要的作用,能够直接影响人的思维、记忆、创造力以及行为。课堂学习环境中学生的情感状态会影响其认知活动,积极的情感将对学习活动起到促进作用。传统课堂中教师面对的学生数量较多,在保证授课质量的同时难以及时感知每个学生的学习情感状态,不利于师生之间的和谐情感交互。人工智能技术的发展推动了智慧学习的深入研究,智慧学习环境中学生情感的准确识别是帮助教师及时调控学生情感状态、优化教学的重要手段。面部表情是情感的主要表达途径,并且在学习环境中相较于其他生理信息更容易获取,因此智慧学习环境中学生的学习情感多通过表情进行判断。通过总结相关研究发现,对于学习情感的探索起步较晚,近几年发展迅速,但仍存在以下问题:其一,各研究关注的学习情感类型不同,并且没有给出合理的分类依据;其二,学习表情相关的数据库较少,难以支持算法的深入研究;其三,学习表情大多比较细微,区分度小,缺少针对学习表情特点的特征提取方法,识别率较低,不利于应用到实际学习环境中。基于以上问题,本文构建学习表情数据库,提出了一种基于深度学习的融合特征提取方法。首先,基于对学习情感的发生机制、教育功能和类型的研究,提出本文关注的学习情感类型,即五种常见并具有关键教育功能的情感状态:惊奇、困惑、愉悦、疲倦、中性,并给出研究依据。结合面部动作编码体系总结了每种表情的关键表征。其次,构建自发学习表情数据库,包括惊讶、困惑、高兴、疲倦、中性五种表情类型,制定了严格的数据库录制标准,采用Intel RealSense SR300摄像头拍摄被试在学习状态下的自然情感流露,并由心理学人员和被试分别标注情感,以保证标签的准确性。再次,本文针对学习表情特点提出了一种融合特征提取方法。构建7层卷积神经网络(CNN)用于深度全局特征提取;利用完整局部二值模型(CLBP)提取浅层全局纹理特征,并使用核主成分分析(KPCA)对纹理特征进行分块降维;在眉毛、眼睛、嘴巴部分定义了四种几何特征,将三者融合后的特征作为最终的表情特征数据。通过深层与浅层、局部与全局两个层面的特征融合,有效增加了特征表现力与稳健性,同时特征维度低,能够提高识别效率。最后,通过实验验证本文算法有效性。将本文提出的方法在自发学习表情数据库、中国化面孔情绪图片系统和CK+库中进行测试,识别准确率达到95.6%、87.6%、96.3%。分别将单一特征与融合特征识别率进行对比,结果表明本文特征融合方法比单一特征效果更好;同时对比目前主流方法的识别效果,证明本文方法能够有效识别学习表情,提高基本表情的识别率。本文研究为在课堂学习环境中实现学生学习情感分析,促进智慧学习的发生奠定了技术基础。
【学位单位】：华中师范大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TP18;G434
【部分图文】：

开心愉悦的正向情感；若疑惑未能得到解答，学生需求得不到满足，将会导致失??落等负面情感，从而降低学生的学习兴趣。学生的需要又分为不同类型，如低层??次需要、高层次需要和不合理需要，面对不同的需要调控方式不同，如图２．２。因??此在教学过程中，了解学生情感发生机制与学生需求类型，能够帮助教师进行合??理调控，诱发学生的积极情感。??Ａ?、??／?（％层ｖ￣？培养、发展??／次需要＼??／?＼??／低层次需要＇Ｔ＋利用、提商??／?＼??／?＼??．?／?不合理需要?诱导、转化??图２．２不同学生需要的调控方式??预期是对即将发生而未发生事物的估量，能够影响情感的强度。客观事物与??个体所预期的差距越大，产生的情感就越强烈。例如，在考试前学生定的目标过??１０??

Ｄ’Ｍｅｌｌｏ等人［５１］提出一种复杂学习情感动态变化模型，将学习情感分为六类：??投入、困惑、惊讶、快乐、挫折及厌恶。模型中指出学习者在学习过程中的情感??体验与认知活动是相互联系和动态变化的，如图２．４。当处于平衡状态的学习者面??临异常或障碍时，会经历认知不平衡产生困惑；若困惑一直无法解决，学习受到??阻碍，学生会陷入挫折，持续的挫折情感会转化为厌恶，最终脱离学习状态；若??思考后能够解决问题，学习者会感到快乐并恢复到平衡状态。其中困惑作为认知??失衡的关键信号，是学习中的一种重要情感，学生在课堂中多数时间处于认知平??衡的中性状态和认知失调的困惑状态之中，若能及时发现学生的困惑并适当的诱??１２??

／ｊｐｆｃＮ硕士学位论文??ＭＡＳＴＥＲ＇Ｓ?ＴＨＥＳＩＳ??五种情感状态在课堂学习过程中都具有重要的教学作用，如图２．５，是学生学习的??关键情感状态。学生表现为中性状态代表其正处于认知平衡的听课状态；在愉悦??的情感体验中，学生能够积极思考，有效提高思维的发散性和创造性；惊奇本身??属于一种中性情绪，而在学习过程中教学内容引发的惊奇情感会转化为对知识的??兴趣，提高学生的投入度；遇到疑问时学生会产生困惑情感，认知平衡转化为认??知失衡，长时间持续困惑状态会影响学生正常学习，因此需要教师及时给予指导，??帮助学生恢复认知平衡状态；在课堂学习中学生难免出现疲倦感，导致学习效率??降低，甚至脱离学习状态，此时需要教师及时发现及时干预，帮助学生提高效率。??在智慧学习环境中，利用人工智能技术即时获取并识别出学生的五种表情，能够??帮助教师在专注于授课时随时获取并判断出学生的学习状态
【参考文献】

相关期刊论文 前5条

1 程萌萌;林茂松;王中飞;;应用表情识别与视线跟踪的智能教学系统研究[J];中国远程教育;2013年03期

2 卢家楣;;情感教学心理学研究[J];心理科学;2012年03期

3 袁宝华;王欢;任明武;;基于完整LBP特征的人脸识别[J];计算机应用研究;2012年04期

4 郑小龙;;探求有效理答 走向高效课堂[J];现代中小学教育;2011年06期

5 龚栩;黄宇霞;王妍;罗跃嘉;;中国面孔表情图片系统的修订[J];中国心理卫生杂志;2011年01期

相关硕士学位论文 前3条

1 孙淑婕;高中生学业情绪与应对方式的关系研究[D];天津师范大学;2017年

2 朱隆政;基于OCC模型的中文微博情感识别[D];北京邮电大学;2016年

3 侯洪涛;一种课堂环境下学生表情识别系统的研究[D];北京工业大学;2015年

本文编号：2852796