基于深度学习文本摘要模型技术的研究与应用

发布时间：2024-03-24 05:38

　　随着互联网时代众多新兴自媒体的诞生与发展,人工处理提炼信息的速度已经远远落后于文字信息的指数式增长,造成大量最新的信息不能及时处理,使人们面对越来越多的信息无法一一阅读。自动文本摘要技术是自然语言处理的一个重要领域,能够帮助人们从文本中精简、提炼和总结重要信息,过滤无用信息,提高阅读效率,提升信息处理效率,减少人力物力成本,提高社会生产力。得益于深度学习的蓬勃发展,理解式文本摘要在近些年有了新的发展与突破。本文基于深度学习构建理解式文本摘要模型,解决以往深度学习文本摘要模型存在的一些问题,提升生成的文本摘要的质量。主要完成了以下工作:(1)提出了一种基于改进注意力的文本摘要模型,通过编码器、解码器保持自动抽象生成文本摘要的能力,嵌入层使用广义自回归预训练模型提取语义特征,充分学习文本上下文信息,深度挖掘文本内在特征。(2)针对未登录词(OOV)问题,通过使用指针生成器直接从源文本中选择复制单词,提高文本摘要的准确度。(3)针对文本摘要单词重复的问题,提出并使用两种改进的注意力,使用历史缓存注意力降低过往产生的注意力高的部分,让模型更加关注之前较少注意的部分,鼓励模型能够关注到更多的单词...

【文章页数】：77 页

【学位级别】：硕士

【部分图文】：

图2-1循环神经网络结构图

第二章相关技术介绍9第二章相关技术介绍2.1深度学习2.1.1循环神经网络循环神经网络[41](Recurrentneuralnetwork，简称RNN)是深度学习中神经网络的一种，所有内部循环单元在时间维度上依次链式连接，使得它能够表现出时间上的动态性动作。循环神经网络由前馈神....

图2-2长短期记忆网络结构

电子科技大学硕士学位论文10需要学习的参数总数。1tttsWsUfx(2-1)tsoftmaxoVst(2-2)循环神经网络会记住过去，其决策受到过去学习的影响。尽管循环神经网络在训练中的学习方式类似，但它会记住在生成输出时从先前输入中学到的东西。循环神经网络可以采用一个或多个输....

图2-3序列到序列模型结构

电子科技大学硕士学位论文122.1.3序列到序列模型序列到序列模型是一个编码器-解码器结构的网络，将一个序列转换为另一个序列，编码器将每个项转换为包含该项及其上下文的相应隐藏向量，解码器使用先前的输出作为输入上下文来逆转该过程，将向量转换为输出项。序列到序列模型在语言翻译、问答系....

图2-4注意力模型结构

第二章相关技术介绍13在图2-3(b)所示的结构中，编码器和解码器都用长短期记忆网络结构，每句话的末尾使用“<EOS>”标志标示。在解码器中，每个时刻的输出会作为下一个时刻的输入，直到解码器在某个时刻预测出特殊符号<EOS>结束。解码器预测第t个时间步的输出时计算过程如公式(2-....

本文编号：3937050