基于seq2seq的神经问题生成方法优化

发布时间：2021-03-25 05:57

　　随着自然语言处理成为了重点的研究课题之一,自然语言处理研究领域下的神经问题生成也得到了飞速发展和应用。神经问题生成是使用深度神经网络从给定的文章或段落中提取目标答案,并根据现有的目标答案生成问题。目前,神经问题生在学习环境、数据挖掘、信息提取和无数其他应用领域中发挥着重要作用。先前的神经问题生成模型中存在一个问题,即所生成的问题未与目标答案中的上下文明确关联,导致生成的问题中很大一部分包含目标答案,从而导致意外问题的产生,并且生成的问题准确度不高。同时,在没有指导的情况下,很多神经问题生成模型没有控制所生成问题的特殊性水平,导致无法获得信息的通用性问题和一般问题。本文使用基于seq2seq的神经问题生成模型,该模型由编码器和解码器组成,本文将段落和目标答案分离开来进行编码解码处理,通过特殊标签替换原始段落的目标答案,并使用该段落和目标答案作为输入,以减少不正确问题（包括正确答案）的数量。通过基于字符重叠的复制机制,本论文可以使生成问题在单词级别和输入文档中具有更高的重叠度和相关性。同时,本论文将神经分类问题生成模型,训练一个分类器,该分类器使用对给定上下文的特定级别（通用或特定）来注释... 

【文章来源】：武汉科技大学湖北省

【文章页数】：46 页

【学位级别】：硕士

【部分图文】：

编码器

武汉科技大学硕士学位论文15图3-1问题生成实例3.4.2目标答案编码器本论文使用另一个单层LSTM来编码目标答案Xa。在目标答案编码器的个步骤中，每个LSTM的隐藏状态被连接起来，形成最终的隐藏状态hfinala，这代表了答案Xa的总体特征：),(h1ajajajhxLSTM(3-13)),(1ajajajhhxLSTM(3-14)];[0amamafinalhhhs(3-15)3.5解码器为了从段落和目标答案中获取足够的信息，本论文设计了段落和目标答案的解码器。段落和目标答案解码器基于LSTM，通过以下三种方式利用段落和目标答案的特征。本论文用最终答案向量hfinala初始化解码器状态。3.5.1结合答案关键特征的解码器在本系统中，通过结合答案的关键特征解码器，能够有效的提高问题生成的效率。在每个解码步骤中，解码器都利用注意力机制中段落的上下文特征和关键字网络中目标答案的关键字特征来生成与段落中目标答案相关的问题。与以往的解码方法相比，结合答案的关键特征更加有利于提出相关度更高的问题。本论文提取目标答案中的关键信息以消除问题目标的歧义。例如，给定一段“史蒂夫·乔布斯是苹果的创始人”，目标答案是“苹果的创始人”，本论文想

武汉科技大学硕士学位论文18图3-2答案分离的编码器图3-3段落和目标答案分离的解码器查询tq被计算为解码器隐藏状态ts和上下文向量tc的组合。通过查询tq到每个词嵌入ke，本论文可以计算tq和ke之间的相关性得分，其中aW是可训练的参数矩阵。然后，得分函数的归一化值表示每个单词的生成概率。由于原始输出层使用了最多的模型参数，因此，通过使用此单词检索层，本论文可以大大减少参数大小和模型收敛的时间：


本文编号：3099160