基于带选择机制的神经网络模型的文本摘要研究

发布时间：2022-01-20 06:59

　　在当今世界,每时每刻都有大量的信息从各种渠道推送给人们,如何从这些信息中筛选出重要信息显得尤为关键,文本摘要就可以帮助做到这一点。本文主要针对句子级概括式文本摘要任务和文档级摘取式文本摘要任务展开研究。对于句子级概括式文本摘要任务,提出了基于循环神经网络和基于卷积网神经网络的Sequence-to-sequence（Seq2Seq）模型:基于循环神经网络的模型结合了联合式选择机制,将输入输出结合起来进行关键信息的选择;基于卷积神经网络的模型引入了全局选择机制,使得原句每个单词的表示结合了全局上下文向量的信息。对于文档级摘取式文本摘要任务,提出了无监督式模型和有监督式模型:无监督式模型基于TextRank模型,并依赖句子语义相似度进行计算;有监督式模型基于Seq2Seq模型,采用类似Pointer Network的处理模式,并使用了选择性编码以更准确地选择出更关键的句子。在实验部分,对于句子级概括式文本摘要任务,所提出的模型在English Gigaword数据集上相对于基本的Seq2Seq模型在ROUGE-2上提升了1.92。文档级摘取式文本摘要任务以CNN/Daily Mail数据集... 

【文章来源】：上海交通大学上海市 211工程院校 985工程院校 教育部直属院校

【文章页数】：78 页

【学位级别】：硕士

【部分图文】：

近年与文本摘要相关的论文发表数量Fig.1-1Numberofpublicationsontextsummarization

上海交通大学硕士学位论文-9-大型网络都是基于该模型。神经网络模型从其命名来看就可以知道它是一种模拟人脑的运行方式的方法，早在二十世纪八九十年代，神经网络便已经有了一定的应用。近年来，随着计算机计算性能的显著提升，大规模神经网络的运行成为可能，神经网络也得以用于解决更为复杂的任务。目前针对文本摘要表现最好的模型也主要基于神经网络模型，因此了解神经网络模型的运作方式也是必不可少的。2.2.1神经元如果是神经网络模型是一个庞大的机器，那神经元就相当于构成这个庞大机器的一个个组件，神经网络模型中的神经元的结构模仿生物的神经元，根据给定的输入得到对应的输出。假设有一个d维的向量12=(,,...,)dxxxx输入到神经元中，用一个量z表示输入向量输入到神经元之后的加权和：=1=+diiizwxb（2-1）T=wx+b（2-2）其中12(,,...,)ddw=www是d维权重向量，b为偏置量。加权和z在经过一个非线性函数后，得到神经元的激励值a：a=f(z)（2-3）这里的函数f为非线性激活函数，图2-1为一个典型的神经元的示意图：图2-1典型的神经元结构Fig.2-1Atypicalarchitectureofaneuron

上海交通大学硕士学位论文-10-2.2.2激活函数在上一小节中我们可以发现神经元需要对输入向量进行一个加权求和的计算，而这样的加权求和的计算过程实际上是对输入各维度的一个线性组合，而这样的线性组合得到的结果的表达能力是比较有限的，所以需要加入一些非线性的因素来增加神经网络模型的表达能力。除了非线性，激活函数一般还需要具有可微性、单调性和有限的输出值范围的特性。常用的激活函数包括Sigmoid函数、Tanh函数以及ReLU函数[12]。Sigmoid函数定义为：1()1exp()=+xx（2-4）Sigmoid函数接受实数域的输入，得到0到1之间的输出。当输入值在0附近时，Sigmoid函数近似为线性函数，当输入值趋近于时，输出值趋近于0，当输入值趋近于+时，输出值趋近于1。Sigmoid函数是传统神经网络模型中最常用的激活函数，然而，从Sigmoid函数的特性上我们也可以发现，该函数有一个非常大的缺点：在使用Sigmoid函数时，如果输入非常大或者非常小，计算出来的梯度会接近于0，这将使网络的学习变得比较困难，此外，Sigmoid函数的输出也不是零中心化的，图2-2展示了Sigmoid函数的图像。图2-2Sigmoid函数Fig.2-2SigmoidfunctionTanh函数在函数图像上跟Sigmoid函数比较类似，它的数学表达式如下：exp()exp()Tanh()exp()exp()=+xxxxx（2-5）与上文提到的Sigmoid函数不同，Tanh函数是零中心化的，非零中心化的输出会使得下一层神经元的输入发生偏移，从而减慢梯度下降的收敛速度，不利于


本文编号：3598378