基于文本结构信息的短文本摘要生成研究

发布时间：2021-01-18 04:23

　　作为缓解信息过载问题的一种有效手段,自动文摘一直是自然语言处理领域中的研究热点。由于已有的神经网络方法尚不能有效地对长文本进行语义编码,目前主流的生成式自动文摘方法主要针对短文本,利用基于循环神经网络的编码器对输入文本进行编码,学习的信息主要是输入文本所反映的序列化信息,缺乏对文本包含的物理结构、语义结构等结构信息的有效利用。本文主要研究如何利用文本包含的结构信息来提高生成摘要的准确性,具体包含以下三个方面:首先,提出了一种融合文本物理结构信息的方法。文本的物理层次结构有助于更加准确地判断文本内不同结构单元的语义信息和重要程度。因此,本文提出了一个层次文本阅读器来根据文本的物理层次结构对文本进行编码,并提出了一种语义融合单元来对输入文本不同层次的语义信息进行融合,形成最终的文本表示提供给解码器生成摘要。实验结果表明,系统性能在ROUGE评价指标上有显著的提高。其次,提出了一种融合文本语义结构信息的方法。本文以BIO标签表示的命名实体为词级结构信息,以依存句法结构为句级结构信息,形成浅层语义结构信息来丰富编码器的语义特征,扩展传统基于编码器-解码器的文摘模型,以生成以核心实体为中心的摘要... 

【文章来源】：苏州大学江苏省

【文章页数】：63 页

【学位级别】：硕士

【部分图文】：

图２－１编码器－解码器模型??－

味着输入序列中的任意单词对生成??输出序列中的某个目标单词卩来说，影响力都是相同的。当文本长度过长时，固定的??中间语义表示Ｃ已经丢失了很多细节信息，这时可能导致编码器生成输出序列时没有??针对性，从而出现大量重复。Ｃｈｏ等人的工作也显示：实际测试中，随着输入语句??长度的＋断增加，传统编码器－解码器模型的性能会迅速下降。??为／解决上述问题，Ｂａｈｄａｎａｕ等人｜２６］首先在机器翻译任务中引入了注意力机制??（Ａｔｔｅｎｔｉｏｎ?Ｍｅｃｈａｎｉｓｍ）来拓展传统的编码器－解码器模型。图２－２给出了基于注意力??机制的编码器－解码器模型的抽象表示。??Ｄｅｃｏｄｅｒ??＼＂ｙ＇＼?＿下２＿?ｙＶ??ｙ＇ｒ＇＇｝??Ｃｏｎｔｅｘｔ??：、」」?＿Ｘ＿２?Ｘｊ＿＿）??图２－２基于注意力机制的编码器－解码器模型??不Ｎ于传统的编码器－解码器模型使用固定的中间语义表示ｃ，基于注意力机制的??编码器－解码器模型在生成输出序列中的每一个单词乂时，注意力机制都会在输入序??列中搜索与生成当前词最相关的信息，并将这些信息集中起来作为对应的中间语义衣??示ｃ，。最后，模型基于语义表示ｃ，和所有先前生成的目标单词来预测当前的ｍ小卞词??＿ｖ，。具体地，输出序列中的每一个符号Ｘ对应条件概率的计算方法如Ｋ所示：??ｐ（ｙ，＼｛ｙｖ－－－，ｙ，?１｝＾）＝＾，－＾＾＾；）?（２－８）??其中，ｇ？是一些非线性闲数，输出生成ｔ对丨、的概书。〃，是／吋刻的隐藏层状态，??９??

基于文本结构信总的短义本摘要生成研宄?第三章基于文本物理结构的生成式自动义摘研究??器的层次性质反映了文本的物理层次结构，即文本是由词、句子甚至更大的结构单元??组合而成的。因此，层次文本阅读器能更好地编码出文本中不同层次结构的信息及其??结构关系。??——－＝＝ｒ＾］＼?…〇?Ｉ??＼?＇?０?Ｑ?０１??ｎ＾ｒｉ?ｒ＾ｎ＼?卜?ｎ—ｎ??鲴國??Ａ?＆?＆?知?５５?ＳＴｓ?ｉ？?ｙ???—??￣ｌＴｒ??！ｌｑｐｒ＂！Ｐ？ＡｒｉＨ［??Ｉ〇＝〇二…口〇丑〇口〇＝…口〇ｔ?？．．２〇＝〇二…口〇Ｉ??ｌｏｏ?ｎｄｌｌｏｌｄ?Ｏｌ?１ＱＭ０?〇！??Ｌ＿ｗｉ?＿?２＊１?＿?二二?＿?Ｌｉ＾ｔｉ?二：＿?＿?Ｌｉ＾ｔｉ?＿＾：ｔ２」？二?＿??图３－２层次文本阅读器??字级编码器：考虑到文本内的长距离依赖和循环祌经Ｍ络ＨＷ的记忆功能对序列??违模的优势，我们使用循环神经网络对文本进行字级编码。首先使用字嵌入矩阵％．将??输入文本Ｄ，，．转换为连续衣示Ｘ。之后，利用双向循环Ｍ络对输入序列进行编码。对??于每个字ＶＶ，，将它对应的前向隐藏层状态向量／；／＇和后向隐藏层状态向量拼接起??来，作为字ＶＶ，对应的语义表示／？，１１。具体计算方法如下所示：??ｘ?＝?（ｘ，，ｘ２，．．．，ｘ７．ｌｖ）?（３－１）??ｈ；＇＝ｆ（ｘ？ｈ＾）?（３－２）??ｈ；＇?＝ｈ）?（３－３）??ｈ；＇?＝［ｈ；＇－，ｈ；＇］?（３－４）??其中Ｔｖｖ．，为输入文本长度，／？，?ｅＲ〃是ＨＩ、丨刻的隐藏层状态，《为隐藏层向Ｍ：维度。／（？）??是一些非线性函数，本章选择／ＬＳＴＭ。??１７??


本文编号：2984265