基于传统课堂的教师话语情感识别研究

发布时间：2020-09-01 11:09

　　教师情感作为教师专业发展的基础,深刻影响着教师的自我认知、课堂教学效果和学生学习效果,语音情感识别是实现和谐自然人机交互的重要途径。本文将语音情感识别应用到传统课堂,分析教师的话语情绪,及时帮助教师调整课堂状态,促进教师专业发展。本文针对离散情感语料库包含的情感种类单一,无法满足人们对复杂情感的需求,与传统课堂环境不相匹配这一问题,主要在维度情感语料库上进行特征提取、特征选择、特征融合、情感识别等工作,最终得到教师情感愉悦度变化曲线,给教师提供参考。本文的主要工作和创新点如下:首先,采用opensmile不同特征集提取CASIA离散语料库和TAL维度语料库情感特征,使用传统机器学习方法进行识别,与传统方法提取的5类特征对比,实验结果说明了 opensmile提取情感特征的有效性。其次,针对TAL维度语料库,使用opensmile不同特征集提取了全局特征和时序特征,并提出了一种基于全连接网络(FC)和一维卷积神经网络(1D-CNN)分别对两类特征进行选择的方法,实验结果表明,特征集IS10+IS13的组合全局特征效果较好,特征集IS10lld+IS13lld的组合时序特征效果较好。再次,针对全局特征和时序特征,提出了一种基于相关神经网络(CorrNet)融合特征的方法,以减少全局特征和时序特征之间的相关性,实验结果表明,采用基于CorrNet的融合特征,可以得到更好的预测效果。最后,在上述研究的基础上设计了一套适用于传统课堂环境中分析教师话语情感的具体模型,通过小样本测试,表明了该模型可有效分析课堂教师的话语情感。
【学位单位】：华中师范大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：G434;TN912.34;TP18
【部分图文】：

空间理论,效价,情感状态,控制空间

很大程度上化解了离散情感状态的模糊性问题，因而可以满足人们对自发情感的描逡逑述需求。维度方式量化情感状态的理论有很多，常用的有二维的唤醒度－效价空间理逡逑论（Ａｒｏｕｓａｌ－Ｖａｌｅｎｃｅ邋ｓｐａｃｅ）（图２．１所示）、三维的激励－评估－控制空间理论逡逑（Ｖａｌｅｎｃｅ－Ａｃｔｉｖａｔｉｏｎ－Ｄｏｍｉｎａｎｃｅ邋ｓｐａｃｅ）和愉悦度？激活度－优势度空间理论（Ｐｌｅａｓｕｒｅ－逡逑Ａｒｏｕｓａｌ－Ｄｏｍｉｎａｎｃｅ邋ｓｐａｃｅ，邋简称邋ＰＡＤ邋模型邋）。逡逑９逡逑

线性可分,分类间隔,最小值,拉格朗日

到分类间隔Ｍ＝＾。当丨｜ｗ｜｜取得最小值时，才能使得分类间隔取得最的求解，将求丨ｋ｜｜的最小值转换为求丨｜ｗ｜｜２最小值，所以目标函数转喷去邋｜｜ｗｆ兄（ｗｒｊｃ，邋＋邋办）＞邋＋１式通过拉格朗日转换及ＫＫＴ条件，经过一系列换算最终得到最优２１逡逑

卷积核,卷积和,输入数据,一维

化（ａｖｅｒａｇｅ邋ｐｏｏｌｉｎｇ）和最大池化（ｍａｘ邋ｐｏｏｌｉｎｇ）。逡逑一维卷积（ｃｏｎｖｌｄ）的过程是卷积核只在一个方向上进行滑窗操作，即在ｗｉｄｔｈ逡逑方向或ｈｅｉｇｈｔ方向上进行加权求和。一维卷积网络的卷积和池化过程如图４．４所示。逡逑ｋ个卷积核逡逑逦逦Ｉ逦逦逡逑￥７］逦ｆｓＴｆｌ逦ｐ逡逑ｋｅｒｎｅｌ邋ｓｉｚｅ＝２逦逦邋ｉ逦逦邋ｉ—逡逑＿逦＠逡逑ｂ２逦ｂ？逡逑＇ｒｒｉｍｍｆＴ］ｉ＾＾邋，逦＾＾＾逦ｒＨ３邋…Ｈ邋ｐ。二逡逑ｒｎＨＨＨ邋＾ｆｌｘＴｉｎＳ逦＾Ｐ00ｌ＿ｓｉｚｅ＝２逦（Ｉｘｋ）邋ｆｅａｔｕｒｅ邋ｍａｐ逡逑ｅ邋ｆ邋ｇ邋ｈ逦Ｌ＿Ｊ＿Ｊ邋？邋？邋？邋逦１逡逑１逦｜逦１＾逦．逦⑵逦（ｋ）逦ｎ邋ｉ邋Ｊ逦Ｋ邋个逡逑ｉ邋ｉ邋ｋ邋１邋Ｉ邋—逦）邋ｙｉ邋ｙｉ逦ｙ；邋ｐｏｏｌｉｎｇｌｄ邋，逦１逦、逡逑逦ＩＩ逦＼—ｊ＼逦邋ｃｏｎｖｌｄ逦Ｖ逦ａｖｅｒａｇｅ逡逑ｉｎｐｕｔ逦（２ｘｋ）邋ｆｅａｔｕｒｅ邋ｍａｐ逦｜邋Ａｉ邋丨丨邋Ａ２邋丨？？？邋｜邋Ａｋ邋丨邋ｐ00ｌｉｎｇ逡逑（ｌｘｋ）邋ｆｅａｔｕｒｅ邋ｍａｐ逡逑图４．４逦一维卷积和池化过程逡逑首先输入数据ｉｎｐｕｔ仍然是为（３邋ｘ邋４）的矩阵，卷积核大小ｋｅｍｅｌ＿ｓｉＺｅ为２，即逡逑它的高（ｈｅｉｇｈｔ）为２，ｓｔｒｉｄｅ为１，卷积核个数为ｋ。ｃｏｎｖｌｄ滑窗操作实际上是一个以逡逑ｋｅｍｅｌ＿ｓｉｚｅ为高，输入数据维度为宽的卷积核向ｈｅｉｇｈｔ方向加权求和的过程，如图，逡逑当输入数据经过第一个卷积核的滑窗操作后转变成了一个（２邋Ｘ邋１）的列向量

【参考文献】