面向结构化数据的文本生成技术研究

发布时间：2022-12-05 23:54

　　面向结构化数据的文本生成技术是自然语言生成领域最前沿的研究任务之一,旨在给定结构化数据,生成描述数据的相应文本。随着社会信息化的不断普及,互联网数据呈爆炸式增长,撰写相应的文本需要耗费大量时间人力,而面向结构化数据的文本生成技术则能有效的提高产能,提升效率。但是,目前面向结构化数据的文本生成技术研究较少,成果落地不足。因此开展面向结构化数据的文本生成技术研究具有极大的研究价值和实际意义。本文围绕面向结构化数据的文本生成技术这一课题,开展了三个子课题的研究。基于数字表示预训练的数据到文本生成技术模块,为了赋予数字更好的区别于文字的表示,开展了面向结构化数据的文本生成技术的特性研究,提出了随机遮蔽部分数据,要求模型生成计算该数据的等式,从而还原被遮蔽的数据的预训练任务,有效提升了模型对于数据本身的常识、逻辑和文法信息建模的能力,实验效果明显。基于数字拓展与推理的数据到文本生成技术模块为了进一步提升模型的数字拓展和推理能力,通过引入多任务学习机制,在原有的编码器-解码器模型中增加了推理数字的等式解码器,将其嵌入原有的（文本）解码器中,并通过设立推理按钮来进行触发。当模型生成文本的过程中,如果... 

【文章页数】：59 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第1章 绪论
    1.1 课题背景及研究意义
        1.1.1 课题来源
        1.1.2 课题研究的背景和意义
    1.2 国内外在该方向的研究现状及分析
        1.2.1 流水线模型
        1.2.2 端到端模型
        1.2.3 国内外文献综述的简析
    1.3 主要研究内容
第2章 基于数字表示预训练的数据到文本生成技术
    2.1 引言
    2.2 预训练数据的构建
    2.3 基于层次化的编码器-解码器的模型架构
    2.4 实验
        2.4.1 实验设置
        2.4.2 评价指标
        2.4.3 结果分析
    2.5 本章小结
第3章 基于数字拓展与推理的数据到文本生成技术
    3.1 引言
    3.2 推理数字集的构建
    3.3 基于多任务学习的数字拓展与推理技术
    3.4 基于强化学习的数字拓展与推理技术
    3.5 实验
        3.5.1 实验设置
        3.5.2 评价指标
        3.5.3 结果分析
    3.6 本章小节
第4章 基于知识蒸馏的数据到文本生成技术
    4.1 引言
    4.2 知识蒸馏信息的构建
    4.3 基于对抗学习的知识蒸馏模型
    4.4 基于层次化更新的知识蒸馏模型
    4.5 实验
        4.5.1 实验设置
        4.5.2 评价指标
        4.5.3 结果分析
    4.6 本章小结
结论
参考文献
致谢



本文编号：3710617