融合序列到序列框架与生成对抗网络的文本摘要模型研究

发布时间：2020-08-10 12:08

【摘要】：在因互联网飞速发展导致的信息过载时代,自动文本摘要对于人们快速检索有效信息起着巨大的作用.文本摘要技术有抽取式摘要和生成式摘要两种,本文主要研究难度更大、生成摘要质量更好的生成式摘要技术.现有的生成式摘要是基于序列到序列结合注意力机制框架进行的,这种框架一般可以生成较短的质量尚可的摘要,但仍然存在着一些不足.比如,在生成较长的摘要时,生成的摘要容易出现单词或者短语的重复、有时会出现语法、语义不通顺等情况.针对这些问题,一方面,我们在上述框架下提出了一种解码器-指针网络结构,额外训练一个指针网络,其作用是从源文本中的某个位置复制合适的单词到当前时间步的输出,这种复制机制通过参数的调节与优化可以自动进行训练学习.另一方面,我们提出了一种覆盖率检测机制来解决摘要中单词、短语经常重复生成的问题,其主要的思想是引入了时间步的注意力权重分布之和作为覆盖率向量,通过抑制某一个维度注意力分布,加入一个覆盖率损失函数到目标函数,巧妙地解决了注意力集中在某几个单词的情况,缓解了生成的摘要出现重复的情况.由于生成对抗网络的结构可以让生成网络和对抗网络在互相对抗的过程中同步演化,让生成网络的输出非常接近真实的样本.基于此,我们将改进之后的序列到序列网络作为生成网络,引入了词向量模型加上卷积网络架构的摘要文本分类器作为鉴别网络,二者不断对抗、迭代,最终生成高质量的摘要.为了验证本文模型的有效性与优越性,我们选择了在Gigaword、DUC2003以及CNN/Daily Mail三个标准数据集上进行生成摘要的数值实验,选择了ROUGE-1,ROUGE-2,ROUGE-L三种指标进行摘要质量的评估.实验结果表明,本文的模型在三个质量评估指标上均得到了不同程度的提升.
【学位授予单位】：华中科技大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：C815

【相似文献】

相关期刊论文 前10条

1 俞鸿飞;王坤;殷明明;段湘煜;张民;;区分冗余序列的抽象文本摘要[J];厦门大学学报(自然科学版);2019年06期

2 明拓思宇;陈鸿昶;;文本摘要研究进展与趋势[J];网络与信息安全学报;2018年06期

3 王知津;基于句子选择的自动文本摘要方法及其评价[J];现代图书情报技术;1998年01期

4 邱秀连;邹珞彬;王峥;;基于文本摘要的影评评分预测研究[J];计算机与数字工程;2019年01期

5 邱俊;;基于强化学习的混合式文本摘要模型[J];信息技术与信息化;2019年01期

6 王成全;;基于专业词典的文本摘要系统的探讨[J];林区教学;2008年02期

7 马汉华;邵志清;过弋;;基于认知心理学模型的自动文本摘要生成技术[J];华东理工大学学报(自然科学版);2009年06期

8 江开忠;李子成;顾君忠;;自动文本摘要方法[J];计算机工程;2008年01期

9 王凯祥;;面向查询的自动文本摘要技术研究综述[J];计算机科学;2018年S2期

10 徐涛;;基于自动文本摘要的中文移动简讯系统[J];现代计算机(专业版);2015年30期

相关会议论文 前3条

1 王慧芳;张勇;邢春晓;张文珂;杨吉江;;文本摘要算法集成与实现[A];第二十五届中国数据库学术会议论文集（二）[C];2008年

2 刘建毅;王菁华;王枞;;基于语言网络的关键词抽取[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年

3 董俊林;聂伟;杨君英;张春炉;;命名实体识别与提取分析[A];逻辑学及其应用研究——第四届全国逻辑系统、智能科学与信息科学学术会议论文集[C];2008年

相关重要报纸文章 前3条

1 本报记者 胡珉琦;一本AI写作的科研综述 你读吗[N];中国科学报;2019年

2 郭敏 浙江省交通规划设计研究院;说一下“专车”不愿讲的责任[N];中国交通报;2015年

3 咕咚;Blog: 从技术出发[N];计算机世界;2003年

相关硕士学位论文 前10条

1 Linyi Liang;[D];华中师范大学;2019年

2 汪贝贝;基于Seq2Seq模型的自动文本摘要技术研究与实现[D];华中科技大学;2019年

3 廖玉婷;基于Attention机制的文本摘要研究与实现[D];华中科技大学;2019年

4 胡成春;融合序列到序列框架与生成对抗网络的文本摘要模型研究[D];华中科技大学;2019年

5 施旭涛;基于堆叠BiLSTM的中文自动文本摘要研究[D];云南大学;2019年

6 丁鹏;基于Seq2Seq模型的中文自动文本摘要研究[D];云南大学;2018年

7 王鑫同;基于生成式的自动文本摘要方法研究[D];华南理工大学;2019年

8 杨伟均;舆情监控系统中的文本摘要技术的研究与实现[D];上海交通大学;2018年

9 宋宇佳;基于自动文本摘要的社会新闻APP设计研究[D];哈尔滨工业大学;2019年

10 徐馨韬;基于Doc2Vec和改进的TextRank的中文单文档摘要研究[D];中国电子科技集团公司电子科学研究院;2019年

本文编号：2788060