针对中英文长文本的自动文本摘要算法研究

发布时间：2023-03-09 20:17

　　飞速发展的互联网与大数据技术使我们置身于信息爆炸的时代,同时也导致文本信息过载的问题变得更加严重。通过互联网我们能够快速获取海量信息,但网络中文本含有大量的冗余数据,自动文本摘要的目的是提炼出文本的关键内容并生成简短摘要,能够有效提升用户的使用体验,故颇具研究意义。目前,基于深度学习的自动文本摘要技术已经取得了不错的发展,但是受限于软硬件条件和模型复杂度的要求,在文本较长的情况下相关算法还是存在许多不足,并且生成的摘要难以充分覆盖源文本的关键信息。本文主要基于深度学习技术,设计合适的模型架构和训练策略,有效改善单文档中长文本输入的生成式文本摘要效果。本文的主要工作和研究成果如下:本文基于序列到序列基础架构设计生成式自动文本摘要模型,借助迁移学习的思想,提出了基于预训练模型的生成式自动文本摘要算法,有效增强了摘要模型的文本表示和特征抽取能力。并且,本文引入多任务学习,针对性地设计了三阶段训练策略:第一阶段使用抽取式文本摘要任务对模型的编码器部分进行微调;第二阶段使用生成式文本摘要任务对整个模型进行训练;第三阶段使用多任务学习对抽取式和生成式文本摘要任务进行联合建模并训练,最终在真实数据集...

【文章页数】：79 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
第一章 绪论
    1.1 研究背景与意义
    1.2 国内外研究现状
        1.2.1 抽取式文本摘要的研究现状
        1.2.2 生成式文本摘要的研究现状
        1.2.3 自然语言处理预训练技术的研究现状
    1.3 论文的主要工作
    1.4 论文的结构安排
第二章 相关理论与技术
    2.1 语言模型与词向量建模
        2.1.1 语言模型
        2.1.2 词向量建模
    2.2 自然语言处理特征抽取器
        2.2.1 循环神经网络
        2.2.2 注意力机制
        2.2.3 Transformer
    2.3 迁移学习与多任务学习
        2.3.1 迁移学习
        2.3.2 多任务学习
    2.4 本章小结
第三章 基于预训练机制的生成式文本摘要方法研究
    3.1 研究目标
    3.2 基于循环神经网络的生成式文本摘要模型
    3.3 改进的基于预训练机制的生成式文本摘要模型
        3.3.1 BERT预训练模型
        3.3.2 基于Transformer的生成式文本摘要模型
    3.4 改进的基于多任务学习的三阶段训练策略
    3.5 本章小结
第四章 关键信息增强的生成式文本摘要方法研究
    4.1 研究目标
    4.2 基于图模型的关键句提取算法
    4.3 基于分类模型的关键词提取算法
    4.4 改进的关键信息增强的生成式文本摘要模型
    4.5 本章小结
第五章 实验设计及分析
    5.1 实验运行环境与实验数据集
    5.2 实验评价指标
    5.3 关键信息抽取效果分析
        5.3.1 关键句抽取效果分析
        5.3.2 关键词抽取效果分析
    5.4 文本摘要各项实验结果分析
        5.4.1 文本摘要算法整体分析
        5.4.2 不同改进策略对文本摘要结果的影响
    5.5 本章小结
第六章 总结与展望
    6.1 全文总结
    6.2 不足与展望
致谢
参考文献
攻读硕士期间取得的成果



本文编号：3758227