基于分布式表示的答案质量自动评价

发布时间：2020-03-01 04:56

【摘要】：高考答题机器人是人工智能问答技术在实际场景中的应用,答案自动评价也是与之相关的一个重要课题,本课题面向高考历史简答题进行答案质量自动评价。早期的简答题答案自动评价系统依赖结构化的数据,使用规则进行学生答案和参考答案的匹配计算。后来,研究者们基于字符串、词汇、浅层语义特征计算学生答案和参考答案的匹配度。然而依据规则进行答案评价通用性不强,而浅层语义特征无法准确表达文本真实语义。基于深度学习的分布式表示方法将文本映射到语义空间中,近年来被应用于多种自然语言处理任务中并取得成功。本课题主要研究基于分布式表示进行历史简答题学生答案自动评价的方法,并与传统的基于特征工程的评价方法进行比较。本文主要包括以下三个部分:第一,使用传统机器学习方法融合多种特征组合,计算学生答案和参考答案的相似度作为答案评价依据,为基于分布式表示的答案质量评价方法提供一个较强的基线。分析字词共现特征、基于信息检索模型的相关性特征以及基于深度学习的语义特征对于计算学生答案和参考答案相关性的作用,使用排序支持向量机(Ranking SVM)线性融合三类特征并进行特征选择。由于学生答案与参考答案长度不一致,需要进行参考答案的扩展,对模型评价性能也有所提高。第二,将基于分布式表示的文本对匹配度计算、基于pair-wise的有监督排序学习模型融合到一个框架,根据学生答案与参考答案的匹配度进行排序学习。使用现有的基于深度神经网络的文本向量表示方法,训练得到参考答案和学生答案的段落分布式表示。并使用余弦相似度、相似度矩阵模型、张量模型计算学生答案和参考答案的匹配度,根据其匹配度进行学生答案评价。由于实验数据有限,本文构造伪数据进行训练,得到的模型在历史简答题答案评价任务上的表现与特征工程方法相当。第三,在小规模数据上训练一个基于深度神经网络的答案质量评估模型,分别使用双向LSTM和CNN-LSTM对学生答案和题目进行建模得到其分布式表示,计算两个向量的余弦相似度进行答案质量估计。在现有的真实小规模数据上进行模型训练和测试,通过调整训练数据规模,从而探究实验数据规模对模型训练的影响。
【图文】：

框架图,框架,向量表示,答案

表示技术表示是将字、词、短语、一个句子、一个段落等不同粒续、稠密的语义空间中，用特定维度的向量表示文本片度可用向量之间的距离表示。本章根据参考答案进行学转换成学生答案和参考答案的匹配度计算。先训练得到分布式表示，并基于其分布式向量表示计算学生答案和ph Vector 是一个无监督学习框架，可以用来学习任意长表示。该模型是由 Word2vec 模型发展而来，能够实现等任意长度文本的向量表示。ec 模型根据上下文学习预测一个词的向量表示，，并使用的词。Word2vec 模型框架如图 3-1 所示，上下文（the 的向量表示。

模型图,模型,似然,哈夫曼树

哈尔滨工业大学工学硕士学位论文给定训练数据为一个词序列Tw ,w,w,...,w123，词向量模型的学习目标是最大化平均对数似然￡ ( ) 。使用多分类分类器如 softmax 根据公式 3-1 进行词的预测。¤( ) = (3-1)其中，是没有归一化的词 i 的对数似然，计算方法如公式 3-2 所示。 = U ( W) (3-2)其中 U 和 W 是 softmax 的参数，h 通常是由上下文词向量的拼接或者取平均值得到。根据词表中词在语料中出现频率构建哈夫曼树，使用多次二分类预测当前词，能够加速模型训练过程。Word2vec 模型有两种：CBOW 模型和 Skip-gram 模型，模型结构如图 3-2 和 3-3 所示。
【学位授予单位】：哈尔滨工业大学
【学位级别】：硕士
【学位授予年份】：2017
【分类号】：TP391.1

【相似文献】