基于多维度特征融合的课堂专注度检测研究

发布时间：2024-02-15 02:56

　　专注度是人类智能行为的具体表现之一。在日常生活中,人们往往是通过眼神、动作和面部表情等传递的信息来判断一个人是否专注于某事或某物。随着“AI+教育”理念的提出,学习者专注度的研究备受学者们的重视,譬如智慧课堂在国内引起了热潮。最初,大部分研究者对学习者的专注度检测研究还停留在基于单一特征的专注度识别上。近年来,识别基础的不断坚实以及人工智能技术的不断发展使得越来越多的研究人员将目光转向了多特征融合的识别研究。但仍旧未能解决传统专注度评价系统中的评价滞后、评价依据单一的问题。本文针对课堂环境下提取到的面部、头部和身体等多个维度的姿态信息,提出了从特征层和模型层两个层面来构建多维度特征融合模型的方法,并在课堂环境下使用该方法自动检测学生专注程度,论文包含以下几个方面的研究。1)提出了基于教室场景的单维度课堂专注度评价模型。主要探索了不同维度下的特征提取方式对课堂专注度的影响。(1)提出了两种新的特征处理方法。一是在Gabor小波变换基础上利用LBP算法处理面部情绪信息。二是利用Alphapose算法提取人体关键点信息,并通过计算关节点间的角度和模比值等描述姿态动作的参数信息来构建动作特征。...

【文章页数】：67 页

【学位级别】：硕士

【部分图文】：

图2.6卷积操作

12基于多维度特征融合的课堂专注度检测域，性能得以提升。不仅使用并行的SPPE分支来优化自身网络，还使用P-NMS来解决冗余检测问题。AlphaPose通过比较姿态间的相似度以及数据驱动法来优化姿态距离参数；通过PGPG强化训练数据，学习并输出结果中不同姿态的描述信息；通过模仿人....

图3.5教室场景下的人脸检测效果示意图

22基于多维度特征融合的课堂专注度检测3.3.2人脸检测本文在人脸检测阶段采用的是性能鲁棒并且开源的MTCNN算法。该算法无论是在检测精确度还是运行速度上，在众多深度学习检测算法中均表现较优，且对光线、角度等鲁棒。同时其内存消耗也不大，实时人脸检测的可行性高，基本满足了教室环境下....

图3.6单人脸的Gabor幅值特征图

23第3章基于单维度的课堂专注度评价Gabor小波变换是一种在空间域和频率域中都能取得最优局部化的傅里叶变换，其复数表达形式如式(3.1)所示。xiyxyxg2exp2exp,,,,;,2222(3.1)Gabor函数包括,,,,,等参数，其中，表示卷积核的尺寸，表示波长，表示滤....

图3.7单张人脸图像及其3*3分块领域

24基于多维度特征融合的课堂专注度检测(2)基于Gabor的LBP特征提取LBP算子在处理图像灰度变化方面具有很大的优越性，能一定程度消除光照变化的影响。因此，本文基于Gabor变换的人脸图像基础，采用LBP算子进一步提取面部图像的纹理特征。LBP特征用于描述图像某个中心像素点(....

本文编号：3899080