融合知识图谱的多编码器神经网络中文问题产生方法研究

发布时间：2021-09-02 00:00

　　近年来,随着人工智能在各个领域的广泛应用,研究如何将人工智能应用于教育领域逐渐成为关注的焦点。智能提问是人工智能应用于教育领域的一个体现,是构建智能化教学环境的一个重要组成部分。智能提问是一门交叉学科的研究方向,涉及的领域包括自然语言处理、教育学、计算机科学、认知科学等,其主要目的是根据文本内容自动产生自然语言问题。智能提问也称问题产生。传统的问题产生方法是基于规则或模板的问题产生方法,该方法依赖人工根据文本内容制定出问题产生规则或模板。然而,规则或模板容易被过度设计,导致这种方法产生的问题质量不高,难以满足现实需求。近年来,深度学习在自然语言处理领域得到了广泛使用,特别是在机器翻译、智能问答等方向上取得了重大进展,展示出了潜在的应用价值。因此,研究员开始尝试利用深度学习技术实现问题产生。目前,研究提出的基于神经网络的问题产生方法主要关注英文问题产生,针对中文问题产生的研究相对较少。因此,本文主要针对现有的基于神经网络的问题产生方法存在的不足,重点研究基于神经网络的中文问题产生方法,并取得了如下研究成果:1、融合知识图谱的神经网络问题产生方法当前研究提出的基于神经网络的问题产生方法主要... 

【文章来源】：西南大学重庆市 211工程院校 教育部直属院校

【文章页数】：83 页

【学位级别】：硕士

【部分图文】：

前馈神经网络

西南大学硕士学位论文12图2-1前馈神经网络2.2循环神经网络2.2.1RNN循环神经网络RNN循环神经网络(RecurrentNeuralNetwork,RNN)是一种用于处理序列数据的神经网络[1]。在RNN循环神经网络中，同层的节点是有连接的，其隐藏层的输入不仅包括前一层的输出还包括上一时刻隐藏层的状态。图2-2是一个RNN循环神经网络的结构图，左侧是其折叠示意图，右侧是其展开示意图。图2-2RNN循环神经网络图中的RNN循环神经网络由一个输入层、一个隐藏层和一个输出层组成。从图中可以看到，该网络随着序列数据的不断推进，t-1时刻隐藏层的状态将会影响下一时刻t的隐藏层状态。图中x=(1,2,…,)是输入的序列数据，=(1,2,…,,n)是RNN循环神经网络的输出序列数据，y=(1,2,…,)是目标输出序列，RNN循环神经网络在t时刻的隐藏层的状态计算公式如下所示：=(1+)(2-1)其中，∈是输入序列中第t个元素的向量表示；∈×是用于调节输入元素的权重矩阵；∈×是用于调节上一时刻隐藏层的状态1的权重矩阵；σ是非线性激活函数，例如sigmoid函数，tanh函数等。最后，t时刻的隐藏层的状态传入到输出层并计算得到t时刻的输出：=g()(2-2)其中，输出层是一个全连接层，∈×是用于调节隐藏层状态的权重矩阵，g

西南大学硕士学位论文14图2-3长短时记忆网络(LSTM)2.3序列到序列学习模型2.3.1基于编码器-解码器的神经网络模型在NLP领域中，会面临一种输入和输出均是序列数据的任务，即根据一个输入序列x=(1,2,…,)，输出另一个序列y=(1,2,…,)，例如机器翻译。Cho团队提出了一种基于编码器-解码器的神经网络模型[1]，实现了将神经网络应用于机器翻译。该模型由两个RNN循环神经网络组成，一个RNN作为编码器将变长输入序列映射到一个固定长度的向量中；另一个RNN作为解码器将固定长度的向量映射为目标序列，其模型结构如图2-4所示。该模型在编码时，编码器顺序地读取输入序列x中的每个元素(i=1,2,…,m)。每读取一个元素，编码器的隐藏层状态将会发生改变，如公式2-11所示，其中f可以使RNN或LSTM。当读取最后一个元素后，此刻的编码器隐藏层的状态可以作为整个输入序列的概要信息c。=(1,)(2-11)c==(1,)(2-12)在解码时，解码器根据概要信息c，上一时刻的输出元素1计算出解码器在时刻t时的状态，如公式2-13所示：=(1,1,)(2-13)p(|1,2,…,1,c)=g(,1,c)(2-14)t时刻的输出元素的条件概率分布计算公式如2-14所示，其中g一般是softmax函数。最后，该模型通过最大化对数似然函数来联合训练模型中的编码器和解码器：maxθ1∑log(|)=1(2-15)其中θ是模型的参数集合，(,)代表训练集中的一对输入序列和输出序列。


本文编号：3377900