基于关键词语义控制的文本生成算法研究

发布时间：2023-12-02 07:41

　　随着深度学习的发展和应用,自然语言处理领域的很多任务都取得了很大的进步。其中文本生成的研究得到了很大发展,尤其是在机器翻译、对话生成等领域。但随着文本生成模型在实际工程上的应用,文本生成的语义控制成为急需解决的重要问题。目前文本生成在情感控制和时态控制方面有一些不错的效果,但在关键词语义控制方面还没有很好的效果。关键问题在于关键词语义信息的编码表示和关键词语义信息如何运用到文本生成过程中。针对以上问题本文做了算法研究和实现,具体包括以下工作:1、将自编解码(encoder-decoder)框架用于基于关键词语义控制的文本生成问题。本文任务的输入只有关键词集合,这些关键词携带的语义信息是生成模型的唯一信息来源。把关键词集合作为编码器部分的输入,进行语义编码表示。把文本生成过程当做解码器过程,语义信息通过注意力(attention)机制引入生成过程,在整个训练过程中进行优化。同时本文设计了针对本任务的评价指标K-BLEU(Keyword-BLEU),可以兼顾生成语句通顺度的评价以及关键词语义相关度的评价。2、针对关键词语义编码表示的问题,提出了分解机编码(FM-encoder)模型。借鉴分...

【文章页数】：64 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第一章 绪论
    1.1 研究背景及意义
    1.2 国内外研究现状
    1.3 论文的研究内容
    1.4 论文的组织结构
第二章 相关工作
    2.1 概述
    2.2 文本生成的语义控制模型
    2.3 自编解码框架
    2.4 语义编码模型
    2.5 注意力机制
    2.6 本章小结
第三章 基于关键词语义控制的文本生成模型
    3.1 本章引言
    3.2 相关工作
    3.3 研究动机及创新点
    3.4 基于关键词语义控制文本生成模型
    3.5 评测指标改进
    3.6 实验结果与分析
        3.6.1 数据集组建和预处理
        3.6.2 词向量预处理
        3.6.3 实验设置
        3.6.4 实验结果分析
    3.7 本章小结
第四章 分解机编码模型
    4.1 本章引言
    4.2 相关工作
    4.3 研究动机及创新点
    4.4 分解机编码模型
        4.4.1 问题分析
        4.4.2 模型结构
    4.5 实验结果与分析
        4.5.1 实验细节
        4.5.2 实验结果与分析
    4.6 本章小结
第五章 加权加性注意力机制
    5.1 本章引言
    5.2 相关工作
    5.3 研究动机及创新点
    5.4 加权加性注意力机制
        5.4.1 模型结构
        5.4.2 模型分析
        5.4.3 训练优化
    5.5 实验结果与分析
        5.5.1 实验细节
        5.5.2 实验结果与分析
    5.6 本章小结
第六章 总结及展望
    6.1 论文总结
    6.2 未来工作展望
参考文献
致谢



本文编号：3869219