基于词级权重与对抗性ECM模型的对话生成方法研究

发布时间：2021-05-22 18:56

　　近年来,随着计算机的性能突飞猛进,特别是图形处理单元（GPU）的使用,促进着自然语言处理领域研究的不断发展,其中,基于深度学习的对话系统取得了巨大的进步。然而,当前对话系统的研究主要集中于对于句子语义的理解,并未考虑到情感因素对于整个系统的影响。情商作为人类智力的重要组成部分,高情商的人可以察言观色,根据对话中的情感因素给出最佳的回复。所以让对话系统能够进行情感表达,可以提高对话系统生成对话的质量,从而带来更好的用户体验。同时,生成式对抗网络在对话系统的使用,可以提高传统机器学习方法的准确性,并使得生成的对话更加类人化。首先,本文对机器翻译模型Transformer和GNA-RNN模型中的语言子网络的结构和原理进行了相关研究。Transformer模型中通过对词向量进行多尺度的变换,可以得到不同维度的语义特征,进而提高了模型的准确性;GNA-RNN模型通过语言子网络增加语句中重要单词的权重,从而提高了模型进行相关图片搜索的能力。为了提高序列生成模型的准确性,本文提出了词级权重网络,将经过词嵌入的语句向量作为输入,语句中各单词的权重作为输出,并与序列生成模型生成的语句相乘,得到最终的输出... 

【文章来源】：辽宁大学辽宁省 211工程院校

【文章页数】：77 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
第1章 绪论
    1.1 研究背景及意义
    1.2 国内外研究现状
        1.2.1 神经机器翻译
        1.2.2 智能对话系统
    1.3 本文主要研究内容与章节安排
        1.3.1 主要研究内容
        1.3.2 章节安排
第2章 基于对抗性网络对话生成的相关理论基础
    2.1 循环神经网络
        2.1.1 循环神经网络基本理论
        2.1.2 长短期记忆网络LSTM
        2.1.3 门控循环单元GRU
    2.2 Seq2Seq模型
        2.2.1 Seq2Seq模型基本理论
        2.2.2 注意力机制
    2.3 生成式对抗网络GAN
        2.3.1 GAN模型基本理论
        2.3.2 文本序列生成模型SeqGAN
    2.4 本章小节
第3章 基于词级权重的文本序列生成模型改进方法
    3.1 机器翻译模型Transformer
        3.1.1 编码器和解码器堆
        3.1.2 Transformer模型中的注意力机制
        3.1.3 位置编码
    3.2 词级权重方法的提出
        3.2.1 GNA-RNN中的语言子网络
        3.2.2 关键词权重计算方法TF-IDF
    3.3 基于词级权重的序列生成网络
        3.3.1 词级权重网络
        3.3.2 基于词级权重的Transformer模型
        3.3.3 基于词级权重的ECM模型
    3.4 本章小结
第4章 基于对抗性ECM模型的对话生成方法
    4.1 多情感对话生成模型ECM
        4.1.1 Encoder-decoder框架
        4.1.2 多情感对话生成任务
    4.2 ECM模型的实现机制
        4.2.1 情感类别嵌入
        4.2.2 内部情感记忆
        4.2.3 外部情感记忆
        4.2.4 ECM的损失函数
    4.3 对抗性多情感对话生成模型ECGAN
        4.3.1 策略梯度
        4.3.2 ECGAN奖励机制
        4.3.3 教师激励机制
        4.3.4 ECGAN模型算法
    4.4 本章小结
第5章 实验结果及分析
    5.1 实验环境
        5.1.1 实验硬件环境
        5.1.2 实验软件环境
    5.2 实验数据集
        5.2.1 IWSLT16英语-德语平行语料库
        5.2.2 NLPCC2017数据集
    5.3 实验评价标准
        5.3.1 BLEU标准
        5.3.2 METEOR标准
    5.4 实验结果及分析
        5.4.1 带有词级权重的序列生成模型实验结果
        5.4.2 ECGAN模型实验结果及分析
    5.5 本章小结
第6章 总结与展望
    6.1 总结
    6.2 进一步工作方向
致谢
参考文献
攻读学位期间发表的学术论文及参加科研情况


【参考文献】：
期刊论文
[1]深度学习方法研究综述[J]. 高明旭,李靖,朱绪平,常延辉.  中国科技信息. 2019(10)
[2]一种基于词级权重的Transformer模型改进方法[J]. 王明申,牛斌,马利.  小型微型计算机系统. 2019(04)
[3]基于深度学习的生成式聊天机器人算法综述[J]. 孙立茹,余华云.  电脑知识与技术. 2018(23)



本文编号：3201505