基于多模态数据的文本摘要生成研究

发布时间：2023-10-28 16:57

　　多模态信息即指包含文本、图像等多种不同模态的信息。多模态信息如新闻等,是我们日常接触到的常见最常见的信息载体之一。随着海量数据的出现迫切需要计算机系统需要在短时间内提炼出数据中的关键信息,文本摘要生成是基于给定原始数据的情况下,对原始数据做出简明总结的任务。目前,传统的文本摘要生成绝大部分仅仅针对于原始数据集是文本的情况,由于多模态数据的常见和频繁使用,迫切需要基于多模态数据获取摘要的方法。本文研究多模态数据的文本摘要生成,即基于原始输入信息为多模态数据,但是输出结果是基于原始信息的一段总结性文本。鉴于目前文本摘要生成研究中大部分都关注基于文章的摘要生成,如何处理多模态数据中不同模态的交互,以及不同模态如何贡献文本摘要生成的是本文研究的重点。本文目标即通过对多模态数据的合理处和学习,即基于原始的多模态数据,学习出一个简明的文本摘要。本文的主要研究工作主要由三个部分组成:(1)由于大部分文本摘要生成模型没有均是在给定数据集上进行单独训练,往往会导致训练效果较好但测试集效果较差等过拟合情况,为了尽量避免模型训练时产生的过拟合风险,给出了基于预训练表征的ELMo-Forward改进模型,该改...

【文章页数】：78 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
第一章 绪论
    1.1 研究工作的背景与意义
    1.2 基于多模态数据摘要生成的国内外研究历史与现状
    1.3 本论文的主要研究内容及组织架构安排
第二章 多模态数据下的不同模态模态信息表征研究
    2.1 多模态数据中的浅层表征模型
        2.1.1 传统机器学习表征方法
        2.1.2 基于词向量的文本表征方法
    2.2 多模态数据中各模态通用表征模型
        2.2.1 自然语言处理中常见的编码模型
        2.2.2 各类模态的通用表示模型
    2.3 本章总结
第三章 文本摘要生成方法研究
    3.1 文本摘要生成
        3.1.1 抽取式摘要简介
        3.1.2 生成式摘要简介
    3.2 基于预训练的共享编码摘要模型改进研究
        3.2.1 编码器改编——ELMo-Forward
        3.2.2 基于ELMo-Forward编码的PANTS模型
    3.3 本章总结
第四章 多模态数据下的摘要生成研究
    4.1 多模态信息融合
        4.1.1 基于单流模型的模态融合方法
        4.1.2 基于双流模型的模态融合方法
    4.2 基于问答的多模态融合摘要生成模型改进研究
        4.2.1 视觉问答任务与文本生成
        4.2.2 基于视觉问答的摘要生成模型——QABS
    4.3 本章总结
第五章 实验结论与分析
    5.1 数据集介绍与模型评价标准
        5.1.1 数据集介绍
        5.1.2 摘要评价体系
    5.2 实验设计与分析
        5.2.1 基于PANTS的文本摘要生成实验设计与分析
        5.2.2 基于QABS的多模态文本摘要生成实验
    5.3 实验结论
第六章 全文总结与展望
    6.1 论文总结
    6.2 论文展望
致谢
参考文献



本文编号：3857401