不平衡数据分类方法研究及其在慕课课程评论情感分类中的应用
发布时间：2020-11-14 17:54
随着信息技术的发展,越来越多的人在慕课学习平台上选择课程进行学习。然而,慕课学习平台存在“低完成率”的问题。针对这个问题,有研究指出给学习者提供人性化的学习支持服务可以促进学习者的持续学习。此外,有研究指出情感支持服务是学习支持服务的重要部分。为了帮助学习支持服务者观察学习者在学习过程中的情感变化并给学习支持服务中的情感疏导应用提供研究基础,本文采用文本情感分类方法对慕课课程评论进行情感分类。然而,不平衡数据分类问题是当前文本情感分类研究面临的主要挑战之一。基于不平衡数据的训练使得分类结果严重偏向样本数量较多的情感类别,忽略样本数量较少的情感类别,从而大大地降低分类性能。而有研究指出绝大多数慕课课程评论持积极情感。基于不平衡数据的训练使得分类结果严重偏向积极情感,忽略消极情感,从而大大降低消极情感的召回率。在情感疏导应用中更需要准确识别消极情感学习者。因此,慕课课程评论情感分类中的不平衡数据分类问题是一个亟需解决的问题。本文针对不平衡数据分类问题,以慕课课程评论情感分类为应用背景,在数据预处理层面和分类算法层面做了以下工作:(1)数据预处理层面。本文提出了一种基于注意力机制的不平衡数据欠采样方法。首先,该方法将多数类样本平均分成n(n=少数类样本数量)组;其次,引入注意力机制得到每一组样本总的词向量表示;最后,将每一组样本总的词向量表示和少数类样本的词向量表示输入CNN(convolutional neural network)训练。实验结果表明该方法在分类性能上优于基于质心空间的不平衡数据欠采样方法和基于样本权重的不平衡数据欠采样方法。(2)分类算法层面。本文提出了一种融合CNN和EWC(elastic weight consolidation)算法的不平衡文本情感分类方法。首先,该方法使用随机欠采样方法得到多组平衡数据;其次,按顺序单独使用每一组平衡数据输入CNN训练,同时在训练过程中引入EWC算法用以克服CNN中的灾难性遗忘;最后,把使用最后一组平衡数据输入CNN训练得到的模型作为最终分类模型。实验结果表明该方法在分类性能上优于基于欠采样和多分类算法的集成学习框架、基于预训练词向量的文本情感分类方法和基于多通道LSTM(long short-term memory)神经网络的不平衡情感分类方法。
【学位单位】：江西师范大学
【学位级别】：硕士
【学位年份】：2020
【中图分类】：TP391.1;TP18
【部分图文】：
硕士学位论文8h为卷积窗口大小，b为偏置值。Xi:i+h-1表示由第i行到第i+h-1行组成的局部特征矩阵。池化层采用max-over-timepooling方法进行特征采样，得到的特征值为c:cmax）（C公式2-2池化层的输出作为CNN模型提出的最终特征向量，输入至全连接层。模型使用Softmax激活函数进行分类。图2-1CNN模型2.2.2LSTM神经网络LSTM神经网络是对传统循环神经网络（RNN）的改进，其使用记忆单元来对历史信息进行更新，可以解决在反向传播过程中的梯度消失和梯度爆炸问题。LSTM单元结构如图2-2所示：图2-2LSTM单元结构
硕士学位论文8h为卷积窗口大小，b为偏置值。Xi:i+h-1表示由第i行到第i+h-1行组成的局部特征矩阵。池化层采用max-over-timepooling方法进行特征采样，得到的特征值为c:cmax）（C公式2-2池化层的输出作为CNN模型提出的最终特征向量，输入至全连接层。模型使用Softmax激活函数进行分类。图2-1CNN模型2.2.2LSTM神经网络LSTM神经网络是对传统循环神经网络（RNN）的改进，其使用记忆单元来对历史信息进行更新，可以解决在反向传播过程中的梯度消失和梯度爆炸问题。LSTM单元结构如图2-2所示：图2-2LSTM单元结构
不平衡数据分类方法研究及其在慕课课程评论情感分类中的应用11表示进行加权求和得到每一组样本总的词向量表示。最后，将每一组样本总的词向量表示和少数类样本的词向量表示组合得到平衡的词向量表示。3.2注意力机制注意力机制早期主要在Encoder-Decoder框架中使用，Encoder-Decoder框架如图3-1所示。图3-1Encoder-Decoder框架图在图3-1中，Module1表示编码器，数据经过编码器可以进行一定的变换；与之对应的Module2则表示解码器，数据经过一系列的变换后经此输出。假设输出值为mi，其计算过程如公式3-1所示：（,,,）121iiimFmmmC公式3-1其中，Ci指的是输出值对应的注意力语义编码，其是由输入的数据分布生成的。Ci计算过程如公式3-2所示：Tjjiji1nSCa)(公式3-2其中，S(nj)表示输入数据经过编码器Module1处理后形成得到的隐层状态，T表示输入数据个数。aij表示输入j对输出mi的注意力分配概率。aij计算如公式3-3和公式3-4所示：Tkikijij1)exp()exp(eea公式3-3)tanh(1ehVbUWsijij公式3-4其中，eij表示的是输入j对输出i的影响力评价因子，hj代表编码器Module1
【参考文献】
本文编号：2883778
【学位单位】：江西师范大学
【学位级别】：硕士
【学位年份】：2020
【中图分类】：TP391.1;TP18
【部分图文】：
硕士学位论文8h为卷积窗口大小，b为偏置值。Xi:i+h-1表示由第i行到第i+h-1行组成的局部特征矩阵。池化层采用max-over-timepooling方法进行特征采样，得到的特征值为c:cmax）（C公式2-2池化层的输出作为CNN模型提出的最终特征向量，输入至全连接层。模型使用Softmax激活函数进行分类。图2-1CNN模型2.2.2LSTM神经网络LSTM神经网络是对传统循环神经网络（RNN）的改进，其使用记忆单元来对历史信息进行更新，可以解决在反向传播过程中的梯度消失和梯度爆炸问题。LSTM单元结构如图2-2所示：图2-2LSTM单元结构
硕士学位论文8h为卷积窗口大小，b为偏置值。Xi:i+h-1表示由第i行到第i+h-1行组成的局部特征矩阵。池化层采用max-over-timepooling方法进行特征采样，得到的特征值为c:cmax）（C公式2-2池化层的输出作为CNN模型提出的最终特征向量，输入至全连接层。模型使用Softmax激活函数进行分类。图2-1CNN模型2.2.2LSTM神经网络LSTM神经网络是对传统循环神经网络（RNN）的改进，其使用记忆单元来对历史信息进行更新，可以解决在反向传播过程中的梯度消失和梯度爆炸问题。LSTM单元结构如图2-2所示：图2-2LSTM单元结构
不平衡数据分类方法研究及其在慕课课程评论情感分类中的应用11表示进行加权求和得到每一组样本总的词向量表示。最后，将每一组样本总的词向量表示和少数类样本的词向量表示组合得到平衡的词向量表示。3.2注意力机制注意力机制早期主要在Encoder-Decoder框架中使用，Encoder-Decoder框架如图3-1所示。图3-1Encoder-Decoder框架图在图3-1中，Module1表示编码器，数据经过编码器可以进行一定的变换；与之对应的Module2则表示解码器，数据经过一系列的变换后经此输出。假设输出值为mi，其计算过程如公式3-1所示：（,,,）121iiimFmmmC公式3-1其中，Ci指的是输出值对应的注意力语义编码，其是由输入的数据分布生成的。Ci计算过程如公式3-2所示：Tjjiji1nSCa)(公式3-2其中，S(nj)表示输入数据经过编码器Module1处理后形成得到的隐层状态，T表示输入数据个数。aij表示输入j对输出mi的注意力分配概率。aij计算如公式3-3和公式3-4所示：Tkikijij1)exp()exp(eea公式3-3)tanh(1ehVbUWsijij公式3-4其中，eij表示的是输入j对输出i的影响力评价因子，hj代表编码器Module1
【参考文献】
相关期刊论文 前3条
1 尹达;;“慕课现象”的本质阐释、现实反思与未来展望[J];电化教育研究;2015年05期
2 王志昊;王中卿;李寿山;李培峰;;不平衡情感分类中的特征选择方法研究[J];中文信息学报;2013年04期
3 王中卿;李寿山;朱巧明;李培峰;周国栋;;基于不平衡数据的中文情感分类[J];中文信息学报;2012年03期
相关硕士学位论文 前3条
1 王琳;基于学习者学业情绪的MOOC评价与改进研究[D];西安电子科技大学;2019年
2 叶子铭;面向慕课课程评论的中文文本情感倾向性分析[D];江西师范大学;2019年
3 谷欣;基于MOOC课程评论的学习行为分析研究[D];华中师范大学;2018年
本文编号：2883778
本文链接：https://www.wllwen.com/shoufeilunwen/xixikjs/2883778.html
