基于特征融合的小学生在线学习表情识别研究

发布时间：2024-05-20 22:19

　　新一代信息技术的兴起推动了在线学习的快速发展。但由于情感缺失等原因导致在线学习参与度较低。为了消除情感缺失对在线学习带来的不利影响,在线学习平台必须能够及时感知学习者的学习情感状态。表情识别是实时感知在线学习情感状态的重要手段之一。目前,在线学习表情识别存在着表情分类体系不完善、开放数据集缺乏以及学习表情识别算法鲁棒性差等一系列问题。针对上述问题,本文对在线学习表情识别进行了深入研究,主要工作如下:第一,构建小学生在线学习表情数据库。通过分析在线学习情境中的学生表情,确定六种常见的学习情感状态:理解、倾听、好奇、疑惑、疲惫和分神。并以此构建在线学习表情数据库,该数据库共包含来自115名学生的1447幅图像。第二,提出利用基于迁移学习的方法提取学习表情特征。本文将VGG16卷积神经网络模型在大型图像数据集ImageNet上训练好的网络权重作为初始权重,利用本文采集到的学习表情图像进行迁移学习,并更新权重,最后使用迁移学习得到的VGG16模型提取深度特征。第三,基于特征融合的在线学习表情识别。本文将CNN深度特征、HOG纹理特征和SIFT特征进行融合,通过SVM实现学习表情的分类。并通过大...

【文章页数】：58 页

【学位级别】：硕士

【部分图文】：

图３．２在线学习表情示例??１７??

硕士学位论文??ＭＡＳＴＥＲ＇Ｓ?ＴＨＥＳＩＳ??男生和５７名女生。每位被采集者录制视频的时间不超过５分钟。视频采集时，要??求被釆集者坐在计算机显示器正前方做出指定表情，被采集者与摄像头之间的距离??需要控制在４０－６０ｃｍ之间，录制过程中尽量减少对被采集者的干扰，允许被采集者....

图４．３?ｂｌｏｃｋ和ｃｅｌｌ关系图??ＨＯＧ算法的特征提取流程如图４．４所示：??

入的样本图像划分为多个由像素点组成??的连通区域（ｃｅｌｌ），将相邻ｃｅｌｌ进行组合，可以得到区域块（ｂｌｏｃｋ）。分别计算并统??计每个ｃｅｌｌ中各个像素的边缘或梯度方向和幅值信息，并生成直方图，得到ｃｅｌｌ的??特征向量。将相邻ｃｅｌｌ的特征向量串联，从而得到每个ｂｌｏｃｋ块....

图４．７关键点匹配流程图??提取和匹配图像ＳＩＦＴ特征的具体步骤如下：??

硕士学位论文??ＭＡＳＴＥＲ＇Ｓ?ＴＨＥＳＩＳ??Ｉｆｉ?Ａ－?块??＜?＞?／?ＢｌｏｃｋＳｉｚｅ（１６，１６）??７ｉ?Ｎ?Ｉ??」／??ｊ?／—窗口??８?／’?＇??＾?／??￣ｆ?，??／」?ｉ??块滑动增量－１??ＢｌｏｃｋＳｔｒｉｄｅ?（８，８）??图４．６块滑动增....

图４．８?ＤＯＧ尺度空间示意图??２６??

方法：??Ｄ｛ｘ，ｙ，?〇？）?＝?［Ｇ｛ｘ，ｙ，?ｋａ）?－?Ｇ（ｘ，ｙ，ａ）］＊?Ｉ（ｘ，?ｙ）??＝Ｌ（ｘ，ｙ，ｋａ）?—?Ｌ｛ｘ，?ｙ，?ａ）?公式?４．９??其中，ｋ为两个相邻高斯尺度空间的比例因子。??图像金字塔是由许多大小不同的图像组成的，越靠近金字塔顶端，图像尺寸....

本文编号：3979202