基于面部表情的学习者情绪自动识别研究——适切性、现状、现存问题和提升路径
发布时间：2022-01-24 19:45
面部表情是表达情绪的主要通道,也是用于情绪识别的一种重要信号。以计算机视觉、人工智能、情感计算等新兴技术为支撑,计算机可以通过识别学习者外显的面部表情,来判断学习者内隐的情绪状态,从而获取识别、理解学习者情绪的能力。实现基于面部表情的学习者情绪识别,首先需要在对不同情绪表征方法进行对比分析的基础上,确定适用的情绪表征方法,再对基于面部表情的学习者情绪识别的适切性进行论证。作为面部表情识别流程中的核心环节,面部表情特征提取方法分为传统的计算机视觉方法和深度学习方法两大类。梳理不同特征提取算法的特点及局限性,可以为探索适合学习者面部表情识别的特征提取算法提供借鉴,并推动学习者面部表情识别研究的发展和有效应用。当前,学习者情绪面部表情识别相关研究仍存有局限性,需要从大规模的自然的学习者情绪面部表情数据库的共建共享,并融合多种特征识别学习者情绪面部表情;从结合人工设计和自动学习两种方法,提取面部表情特征等多种路径,来提升研究深度。
【文章来源】：远程教育杂志. 2019,37(04)北大核心CSSCI
【文章页数】：9 页
【部分图文】：
面部表情的几何特征表征示意图
2019年第4期总第253期用于降低数据维度。CNN的首层卷积层提取图像低阶特征，比如，边、角、曲线等，后续卷积层在前一层卷积层提取到的特征基础上，进一步提取特征。通过卷积层与池化层的堆叠，实现高阶特征提取，最后通过全连接层连接分类器。CNN的架构设计是图像识别任务中的核心环节，其中AlexNet和VGGNet是两种在往年的ImageNet大规模视觉识别挑战赛中获得冠军的CNN架构，如图2所示。这两种网络架构在图像识别领域仍具有广泛的应用前景，在静态图像面部表情识别领域尤为突出。利用CNN识别面部表情的流程，如图3所示。研究者提出了各种不同的基于CNN的面部表情识别方法。例如，Hamester等设计双通道的CNN识别面部表情，其中一个CNN子网的第一层采用预置权重的Ga-bor滤波作为卷积自编码器，两个CNN子网提取的特征在融合后被用于识别面部表情[38]。Liu等提出由多个CNN子网组成的集成式CNN，用于面部表情特征自动提取和分类[39]。LiuY等则融合人工设计的特征（CBP，中心二值模式）和CNN自动提取的特征识别面部表情[40]。曹晓明等则融合静态图像的面部表情、脑电波和学习日志三种模态数据，训练CNN模型判断学习者参与度[41]。但是，已有研究在所设计的CNN中所有卷积核的权值系数是随机初始化的，需要在标注的样本数据集上训练CNN模型，调节卷积核的权值系数，才能有效地提取面部表情特征，因此，需要大量的训练数据用于模型的训练。2.基于动态图像序列的表情识别利用深度学习方法识别动态图像序列的面部表情，不仅需要提取单帧图像的空域特征，而且还需要提取图像帧之间的时域特征。单帧图像的空域特征提取可以通过CNN实现，而提取序列时域特征的代表性算法则是循环神经网络（RecurrentNeuralNet-w
氖庇蛱?征，结合空时域特征识别面部表情[42]。Zhang等从表情图像序列中选择代表帧图像，利用CNN提取代表帧的空域特征，同时利用RNN提取所有表情序列帧的面部特征点的时域特征，最后融合两种特征识别面部表情[43]。RNN模型的训练采用BPTT（Back-PropagationThroughTime）算法反向传播误差，通过随机梯度下降（StochasticGradientDescent）算法调节网络参数，使得损失函数值达到最校但是随着序列长度增大，RNN在训练过程中会出现梯度消失问题，从而丧失学习序列时域特征的能力。为了解决这一问题，长短图3CNN识别面部表情流程图（图中表情实例来自数据集CAS（ME）2）图2两个广泛应用的CNN模型的网络结构图4循环神经网络示意图注：其中（1）代表整个神经网络；（2）代表隐藏层中单个神经元；（3）表示单个神经元沿时间轴展开。前沿探索基于面部表情的学习者情绪自动识别研究荨荨68
【参考文献】：
期刊论文
[1]物理学习空间中学习者情绪感知研究综述[J]. 刘智,方常丽,刘三(女牙),孙建文. 远程教育杂志. 2019(02)
[2]基于面部表情的学习困惑自动识别法[J]. 江波,李万健,李芷璇,叶韵. 开放教育研究. 2018(04)
[3]基于多流CNN-LSTM网络的群体情绪识别[J]. 卿粼波,熊文诗,周文俊,熊珊珊,吴晓红. 计算机应用研究. 2018(12)
[4]课堂环境中基于面部表情的教学效果分析[J]. 韩丽,李洋,周子佳,宋沛轩. 现代远程教育研究. 2017(04)
[5]基于空间多尺度HOG特征的人脸表情识别方法[J]. 童莹. 计算机工程与设计. 2014(11)
[6]在线学习系统中情感识别模块的设计与实现[J]. 魏刃佳,丁亦喆,张莉,吴振强. 现代教育技术. 2014(03)
本文编号：3607189
【文章来源】：远程教育杂志. 2019,37(04)北大核心CSSCI
【文章页数】：9 页
【部分图文】：
面部表情的几何特征表征示意图
2019年第4期总第253期用于降低数据维度。CNN的首层卷积层提取图像低阶特征，比如，边、角、曲线等，后续卷积层在前一层卷积层提取到的特征基础上，进一步提取特征。通过卷积层与池化层的堆叠，实现高阶特征提取，最后通过全连接层连接分类器。CNN的架构设计是图像识别任务中的核心环节，其中AlexNet和VGGNet是两种在往年的ImageNet大规模视觉识别挑战赛中获得冠军的CNN架构，如图2所示。这两种网络架构在图像识别领域仍具有广泛的应用前景，在静态图像面部表情识别领域尤为突出。利用CNN识别面部表情的流程，如图3所示。研究者提出了各种不同的基于CNN的面部表情识别方法。例如，Hamester等设计双通道的CNN识别面部表情，其中一个CNN子网的第一层采用预置权重的Ga-bor滤波作为卷积自编码器，两个CNN子网提取的特征在融合后被用于识别面部表情[38]。Liu等提出由多个CNN子网组成的集成式CNN，用于面部表情特征自动提取和分类[39]。LiuY等则融合人工设计的特征（CBP，中心二值模式）和CNN自动提取的特征识别面部表情[40]。曹晓明等则融合静态图像的面部表情、脑电波和学习日志三种模态数据，训练CNN模型判断学习者参与度[41]。但是，已有研究在所设计的CNN中所有卷积核的权值系数是随机初始化的，需要在标注的样本数据集上训练CNN模型，调节卷积核的权值系数，才能有效地提取面部表情特征，因此，需要大量的训练数据用于模型的训练。2.基于动态图像序列的表情识别利用深度学习方法识别动态图像序列的面部表情，不仅需要提取单帧图像的空域特征，而且还需要提取图像帧之间的时域特征。单帧图像的空域特征提取可以通过CNN实现，而提取序列时域特征的代表性算法则是循环神经网络（RecurrentNeuralNet-w
氖庇蛱?征，结合空时域特征识别面部表情[42]。Zhang等从表情图像序列中选择代表帧图像，利用CNN提取代表帧的空域特征，同时利用RNN提取所有表情序列帧的面部特征点的时域特征，最后融合两种特征识别面部表情[43]。RNN模型的训练采用BPTT（Back-PropagationThroughTime）算法反向传播误差，通过随机梯度下降（StochasticGradientDescent）算法调节网络参数，使得损失函数值达到最校但是随着序列长度增大，RNN在训练过程中会出现梯度消失问题，从而丧失学习序列时域特征的能力。为了解决这一问题，长短图3CNN识别面部表情流程图（图中表情实例来自数据集CAS（ME）2）图2两个广泛应用的CNN模型的网络结构图4循环神经网络示意图注：其中（1）代表整个神经网络；（2）代表隐藏层中单个神经元；（3）表示单个神经元沿时间轴展开。前沿探索基于面部表情的学习者情绪自动识别研究荨荨68
【参考文献】：
期刊论文
[1]物理学习空间中学习者情绪感知研究综述[J]. 刘智,方常丽,刘三(女牙),孙建文. 远程教育杂志. 2019(02)
[2]基于面部表情的学习困惑自动识别法[J]. 江波,李万健,李芷璇,叶韵. 开放教育研究. 2018(04)
[3]基于多流CNN-LSTM网络的群体情绪识别[J]. 卿粼波,熊文诗,周文俊,熊珊珊,吴晓红. 计算机应用研究. 2018(12)
[4]课堂环境中基于面部表情的教学效果分析[J]. 韩丽,李洋,周子佳,宋沛轩. 现代远程教育研究. 2017(04)
[5]基于空间多尺度HOG特征的人脸表情识别方法[J]. 童莹. 计算机工程与设计. 2014(11)
[6]在线学习系统中情感识别模块的设计与实现[J]. 魏刃佳,丁亦喆,张莉,吴振强. 现代教育技术. 2014(03)
本文编号：3607189
本文链接：https://www.wllwen.com/jiaoyulunwen/jgkg/3607189.html
