基于目标导向的自然语言生成方法研究

发布时间：2021-05-17 11:29

　　自然语言生成是计算语言学与人工智能领域的重要分支。现有的语言生成系统结构冗余、人为参与度较高的问题亟待解决。由于生成对抗网络在序列生成方向上逐渐受到关注,同时为更好地使计算机具有人一样的表达和写作能力,基于目标导向的生成方法提供了新的生成角度,不同于语言分析逆过程的生成方式,提升生成内容的可控性。现有的用于序列生成的策略梯度算法中,真实环境提供的奖励规则没有被很好的近似,即用训练模型本身生成的数据作为环境模型生成的结果,并当成反馈奖励参与计算。判别器没能提供生成目标的奖励,让生成器根据强化学习的方式进行训练,使对抗生成网络中的语言生成模型不能基于目标词引导进行训练。本文提出的目标导向的序列对抗生成网络（Goal-directed Sequence Generative Adversarial Network,G-SeqGAN）模型,主要实现了强化学习方法与对抗生成网络的组合训练,通过奖励引导并使用滚动计算方法实现目标序列生成,进一步增强了生成对抗网络中自然语言生成任务的可控性。分析了在使用强化学习方法时容易忽略的环境要素,总结环境的私有状态,为自然语言生成方法提供一种新的分析视角,并为... 

【文章来源】：大连理工大学辽宁省 211工程院校 985工程院校 教育部直属院校

【文章页数】：59 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
1 绪论
    1.1 研究背景
    1.2 国内外研究现状及发展动态分析
        1.2.1 自然语言生成的最新进展
        1.2.2 序列对抗生成网络发展情况
        1.2.3 仿生学语言研究分析
    1.3 本文的研究动机与主要贡献
    1.4 本文组织结构
2 相关技术
    2.1 生成对抗网络
    2.2 强化学习基本概念与方法
        2.2.1 强化学习基础知识
        2.2.2 决策过程与方法
        2.2.3 方法分类
    2.3 神经网络模型
        2.3.1 递归神经网络
        2.3.2 长短期记忆神经网络
        2.3.3 卷积神经网络
    2.4 本章小结
3 G-SeqGAN模型
    3.1 模型描述
    3.2 模型重点论述
        3.2.1 目标引导奖励
        3.2.2 环境估计可视性
        3.2.3 训练算法流程
    3.3 实验验证
        3.3.1 基本设置
        3.3.2 评估指标
        3.3.3 预训练模拟环境实验
        3.3.4 模型稳定性分析
        3.3.5 模型实值数据实验
        3.3.6 模型参数调研
    3.4 本章小结
4 改进的G-Seq GAN模型
    4.1 模型描述
    4.2 模型改进论述
        4.2.1 预训练策略
        4.2.2 参数调研与设置
    4.3 实验验证
        4.3.1 生成基本评估指标测试
        4.3.2 实值数据实验
    4.4 本章小结
结论
参考文献
攻读硕士学位期间发表学术论文情况
致谢


【参考文献】：
期刊论文
[1]基于协同图排序的对比新闻自动摘要[J]. 黄小江,万小军,肖建国.  北京大学学报(自然科学版). 2013(01)
[2]自然语言生成的哲学探索——论语言的生物性、语言与心脑关系以及语言生成机制[J]. 武冬艳.  外语学刊. 2012(02)
[3]自然语言生成综述[J]. 张建华,陈家骏.  计算机应用研究. 2006(08)



本文编号：3191686