基于神经网络联合学习的文本摘要模型

发布时间：2021-01-28 12:07

　　随着互联网的发展,人们接触的信息开始爆炸式增长,如何高效的获取知识变得尤为重要。为了更好的处理在不同领域的信息膨胀问题,研究者们提出了文本摘要的自动生成。文本自动摘要技术通过对文章的压缩和提炼,为更快更准确的获取知识提供了很大的帮助,从而节省了大量的阅读时间。经过十几年的研究,文本摘要从方法层面上可分为抽取式摘要和生成式摘要两种。近些年,由于深度学习的发展以及基于注意力的端到端模型的提出,使得文本摘要的自动生成达到很好的效果。然而,现有的这些端到端模型其实是一个黑盒,我们只需要输入文本,在生成过程中很难被控制。除此之外,这些模型识别关键信息能力不足,使得生成的摘要缺少关键信息,而关键信息是摘要最不可或缺的部分。针对这一问题,我们提出了一种结合了文本摘要生成式模型和抽取式模型的关键信息指导神经网络,并提出了联合学习进一步改进模型。主要工作和贡献如下:1.提出了一种新的关键信息指导网络（KIGN）,该网络将抽取式摘要和生成式摘要成功融合在一起。首先,我们通过一个抽取式模型从输入文本中获取关键词。然后,我们介绍关键信息指导网络（KIGN）,这个网络对关键词进行编码并指导生成过程。由于上述的模... 

【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校

【文章页数】：63 页

【学位级别】：硕士

【部分图文】：

图２－１循环神经网络结构图??图２－１是循环神经网络结构图，图的左右两边分别是简单的循环神经网络结??

到当前的隐层状态输出。??２．１．３双向ＬＳＴＭ模型??在上文中，描述了循环神经网络从ＲＮＮ发展到ＬＳＴＭ，图２－１中描述的是??单向的循环神经网络。从图中可以看出每个编码后输出的隐层状态〇ｔ由上文传来??的状态向量和当前时刻输入计算得出，也就是说输出的隐层状态只包含了上文的??信息，没有包含下文的信息会导致当前时刻编码输出不准确。在本文中所用??ＬＳＴＭ模型对输入文本进行编码，由于同时需要上下文的信息，所以采用前向和??１０??

（ｘ〇）?（Ｘｉ）?（Ｘｚ）?．．．?（ｘ？）??图２－３双向ＬＳＴＭ网络结构??如图２－３所示，下面是网络的输入，然后输入分别到正向和反向两个ＬＳＴＭ??网络中。首先看正向网络，其中ｓ是初始的状态向量，然后状态向量随着输入顺??序的往右移动，在每个输入时刻更新，同时和输入一起获取正向的隐层状态输出??至ＩＪ；同理反向网络也有个初始的状态向量，然后输入是倒序输入的，先从文本的??最后一个词开始，然后往左移动状态向量，并输出每个时刻的隐层状态。双向??ＬＳＴＭ的输出来自于正向网络和反向网络的拼接，即双向ＬＳＴＭ在中间隐藏层??保留了两个值，而且可以看出正向ＬＳＴＭ网络和反向的是相互独立的，包括输入??和信息传导过程，只在隐藏层的时候保留两个。除此之外，可以看出模型中间的??每一个是一个ＬＳＴＭ的单元


本文编号：3004968