基于深度学习的MOOC论坛探索型对话识别方法研究
发布时间：2021-02-01 03:08
[目的/意义]大规模在线开放课程论坛具有丰富的用户评论数据。从大量未区分的评论数据中,自动识别出知识密度较高的探索型对话并挖掘其潜在价值,对于改善教师教学质量以及提高学生知识水平具有重要影响。[方法/过程]首先利用GloVe方法训练词向量,加强对文本语义的理解,然后利用卷积神经网络自动学习文本特征,提出一种基于深度学习的探索型对话自动识别模型,并在学堂在线平台《心理学概论》课程论坛标注数据集上进行实证与对比研究。[结果/结论]实验结果显示,利用GloVe方法预训练词向量以及在训练过程中不断对词向量进行学习修正能够提高模型效果。该模型识别探索型对话的F1值为0.94,相较于传统的朴素贝叶斯方法（0.88）、逻辑斯谛回归方法（0.89）、决策树方法（0.88）以及随机森林方法（0.88）取得较大提升,具有较高的实用性和较低的学习成本。
【文章来源】：图书情报工作. 2019,63(05)北大核心CSSCI
【文章页数】：8 页
【部分图文】：
基于卷积神经网络的探索型对话自动识别模型
董庆兴，李华阳，曹高辉，等．基于深度学习的MOOC论坛探索型对话识别方法研究［J］．图书情报工作，2019，63(5):92－99．嵌入层之后的卷积－池化层是整个CNN模型的核心，为了使模型更好地学习文本特征，本文采用了三个卷积核大小不同的卷积池化层，其详细结构见图3。图2基于卷积神经网络的探索型对话自动识别模型图3卷积池化层结构图3中，卷积－池化层主要由两部分组成:卷积层和池化层。对于W∈Ｒk×d的卷积核，经卷积操作得到新的特征ci:ci=f(w·Mi:i+k－1+b)式(6)其中，b为偏差项，函数f为非线性激活函数，例如sigmoid函数。ci可以理解为对输入文本中单词i到i+k－1所组成词组的抽象表示。卷积核对输入矩阵M卷积结束之后得到c=［c1，c2，…，cn－k+1］∈Ｒn－k+1。考虑到不同卷积核卷积得到的特征向量c的维度是不同的，而后续层的输入维度又必须是固定的，所以我们需要对c的维度重新进行调整。最大池化(maxpooling)是一种流行的解决方案，将c∈Ｒn－k+1输入最大池化层将得到^c=max(c)。其中^c∈Ｒ，这一方面固定了特征向量的维度，另一方面又保留最重要的特征。所有卷积－池化层的输出特征的维度都相同，这些特征拼接成的特征向量将输入全连接层。为了防止模型过拟合，在模型训练的时候会对全连接层进行dropout［33］处理，然后再使用softmax函数对全连接层的输出进行预测。为了提高模型的泛化能力，模型的损失函数在使用交叉熵损失函数的基础上，加入了全连接层权重的l2正则项，然后利
龊?62个，分别占该年课程论坛中所有对话的1/3左右。可以看出探索型对话在MOOC论坛中数量较少，这一特点加大了探索型对话的检索难度。总体上看，对比2015年和2016年两期课程在各项数据上均有明显下降，由于2016年论坛数据过于稀少，本文主要以2015年数据集为基础进行后续分析和实验，标注后的数据截屏见图4。表1两期《心理学概论》课程数据概况课程时间报名人数论坛参与人数对话数量回复量探索型对话2015年春316801002102931653442016年春2337227422178862图4《心理学概论》论坛数据标注样例2015年课程中探索型对话在24小时内的发帖分布见图5。在1点到15点之间，除了13点和14点出现明显波峰之外，探索型对话的发布整体比较均匀。59
【参考文献】：
期刊论文
[1]基于多属性加权的社会化问答社区关键词提取方法[J]. 余本功,李婷,杨颖. 图书情报工作. 2018(05)
[2]基于支持向量机的先秦诸子典籍自动分类研究[J]. 王东波,何琳,黄水清. 图书情报工作. 2017(12)
[3]融合主题与情感特征的突发事件微博舆情演化分析[J]. 安璐,吴林. 图书情报工作. 2017(15)
[4]融入情感差异和用户兴趣的微博转发预测[J]. 唐晓波,罗颖利. 图书情报工作. 2017(09)
[5]线上商品评论有效性分类专业领域知识模型的构建研究[J]. 夏火松,甄化春,张颖烨,杨培. 情报学报. 2016 (09)
[6]基于修正G2特征筛选的中文微博情感组合分类[J]. 杜亚楠,刘业政. 情报学报. 2016 (04)
[7]虚拟社区用户知识共享行为影响因素研究[J]. 黄维,赵鹏. 情报科学. 2016(04)
[8]虚拟社区信息运动及其规律研究[J]. 陈晓美,贯君,王福. 图书情报工作. 2016(06)
[9]发展教育大数据:内涵、价值和挑战[J]. 杨现民,唐斯斯,李冀红. 现代远程教育研究. 2016(01)
[10]一种基于复杂网络模型的作者身份识别方法[J]. 李晓军,刘怀亮,杜坤. 图书情报工作. 2015(18)
本文编号：3012092
【文章来源】：图书情报工作. 2019,63(05)北大核心CSSCI
【文章页数】：8 页
【部分图文】：
基于卷积神经网络的探索型对话自动识别模型
董庆兴，李华阳，曹高辉，等．基于深度学习的MOOC论坛探索型对话识别方法研究［J］．图书情报工作，2019，63(5):92－99．嵌入层之后的卷积－池化层是整个CNN模型的核心，为了使模型更好地学习文本特征，本文采用了三个卷积核大小不同的卷积池化层，其详细结构见图3。图2基于卷积神经网络的探索型对话自动识别模型图3卷积池化层结构图3中，卷积－池化层主要由两部分组成:卷积层和池化层。对于W∈Ｒk×d的卷积核，经卷积操作得到新的特征ci:ci=f(w·Mi:i+k－1+b)式(6)其中，b为偏差项，函数f为非线性激活函数，例如sigmoid函数。ci可以理解为对输入文本中单词i到i+k－1所组成词组的抽象表示。卷积核对输入矩阵M卷积结束之后得到c=［c1，c2，…，cn－k+1］∈Ｒn－k+1。考虑到不同卷积核卷积得到的特征向量c的维度是不同的，而后续层的输入维度又必须是固定的，所以我们需要对c的维度重新进行调整。最大池化(maxpooling)是一种流行的解决方案，将c∈Ｒn－k+1输入最大池化层将得到^c=max(c)。其中^c∈Ｒ，这一方面固定了特征向量的维度，另一方面又保留最重要的特征。所有卷积－池化层的输出特征的维度都相同，这些特征拼接成的特征向量将输入全连接层。为了防止模型过拟合，在模型训练的时候会对全连接层进行dropout［33］处理，然后再使用softmax函数对全连接层的输出进行预测。为了提高模型的泛化能力，模型的损失函数在使用交叉熵损失函数的基础上，加入了全连接层权重的l2正则项，然后利
龊?62个，分别占该年课程论坛中所有对话的1/3左右。可以看出探索型对话在MOOC论坛中数量较少，这一特点加大了探索型对话的检索难度。总体上看，对比2015年和2016年两期课程在各项数据上均有明显下降，由于2016年论坛数据过于稀少，本文主要以2015年数据集为基础进行后续分析和实验，标注后的数据截屏见图4。表1两期《心理学概论》课程数据概况课程时间报名人数论坛参与人数对话数量回复量探索型对话2015年春316801002102931653442016年春2337227422178862图4《心理学概论》论坛数据标注样例2015年课程中探索型对话在24小时内的发帖分布见图5。在1点到15点之间，除了13点和14点出现明显波峰之外，探索型对话的发布整体比较均匀。59
【参考文献】：
期刊论文
[1]基于多属性加权的社会化问答社区关键词提取方法[J]. 余本功,李婷,杨颖. 图书情报工作. 2018(05)
[2]基于支持向量机的先秦诸子典籍自动分类研究[J]. 王东波,何琳,黄水清. 图书情报工作. 2017(12)
[3]融合主题与情感特征的突发事件微博舆情演化分析[J]. 安璐,吴林. 图书情报工作. 2017(15)
[4]融入情感差异和用户兴趣的微博转发预测[J]. 唐晓波,罗颖利. 图书情报工作. 2017(09)
[5]线上商品评论有效性分类专业领域知识模型的构建研究[J]. 夏火松,甄化春,张颖烨,杨培. 情报学报. 2016 (09)
[6]基于修正G2特征筛选的中文微博情感组合分类[J]. 杜亚楠,刘业政. 情报学报. 2016 (04)
[7]虚拟社区用户知识共享行为影响因素研究[J]. 黄维,赵鹏. 情报科学. 2016(04)
[8]虚拟社区信息运动及其规律研究[J]. 陈晓美,贯君,王福. 图书情报工作. 2016(06)
[9]发展教育大数据:内涵、价值和挑战[J]. 杨现民,唐斯斯,李冀红. 现代远程教育研究. 2016(01)
[10]一种基于复杂网络模型的作者身份识别方法[J]. 李晓军,刘怀亮,杜坤. 图书情报工作. 2015(18)
本文编号：3012092
本文链接：https://www.wllwen.com/jiaoyulunwen/jsxd/3012092.html
