基于Attention机制的文本摘要研究与实现

发布时间：2021-01-20 03:43

　　随着大数据的来临,信息数据出现爆炸式增长,网络时代每天产生数以亿计的数据和信息,因此人类不可避免的面临信息过载这一问题.其中归因于自媒体等传播途径的普及,使得文本信息越来越多.如何从杂乱绵长的文本中摘要出简短的主旨,即自动文本摘要的研究,对于人们能够快速、准确地从海量文本数据中获取到有效信息有着重大的意义.是通过生成一段简练的文字来高度概括原文信息的技术.要将长文本转换为短的摘要内容,需要通过seq2seq框架将原始输入编码成一个语义向量,并对该语义向量解码生成输出.本文对于编码部分使用双向LSTM神经网络,解码部分使用单向LSTM神经网络.但是长文本序列仅依靠一个语义编码是不足以表示全部文本信息的,因此引入attention机制,并在此基础上对模型进行改进.具体改进为使用TextRank算法结合句子的位置特征和新颖性计算出每个句子的重要性得分,选出得分最高的TOP-K个句子作为输入序列.并放弃了传统的通过attention回顾全部文本的做法,让attention仅关注局部信息,从而将注意力集中在对齐位置周围.通过这种方式减少噪声和计算时间,提高摘要的准确度.最后设计实验并进行结果分析... 

【文章来源】：华中科技大学湖北省 211工程院校 985工程院校 教育部直属院校

【文章页数】：50 页

【学位级别】：硕士

【部分图文】：

中国网民规模和互联网普及率

华 中 科 技 大 学 硕 士 学 位 论 文基础且应用最广泛的一类数据，它的信息量在所有信息中占有较大比例.因此， 究文本自动摘要技术可以很好的减轻人类面临的信息过载问题，是当前社会发展迫切需要.与此同时，通过手机媒介上网的网民规模逐年递增.如图 1-2 所示：截至 20年 6 月，我国手机网民的规模达 7.88 亿，超过全国人口的半数，且在全国网民中占比高达 98.3%.并且手机网民的比例逐年稳步上升，有继续攀升的趋势.

向量理论上包含了原始文本的所有信息，但是因为信息被压缩，所以会有基础上，结合了 attention 机制，在解码时往回查看原来的文本，配合决定输出.STM环神经网络(RNN)是一类用于处理序列数据的神经网络，该网络会对前面行记忆并应用于当前的输出计算中.文本数据是一列序列，其中每个数据所具有重要的意义.因此，相较于卷积神经网络(CNN)，使用循环神经网络文本数据是合适的.但是由于RNN不可避免的存在梯度消失和梯度爆炸的TM 在此基础上应运而生.循环神经网络 RNNN[29]包含三个层，它们分别是：输入层(Input Layer)，隐藏层(Hidden La层(Output Layer)，具体如图 3-1 所示：


本文编号：2988299