基于循环神经网络和增强学习的对话情感模型研究

发布时间：2024-02-26 15:54

　　神经对话生成(Neural Dialogue Generation)模型是最近的研究热点。其中基于LSTM的Seq2Seq是其中一个典型的模型,尽管该模型在对话生成取得成功,但是还存在一般性回复问题,陷入死循环问题和对话生成中情感倾向不可控问题等。本文的研究课题将探讨对话生成中的情感倾向不可控问题。不同于目前的研究对象,本论文以生成对抗网络(Generative Adversarial Networks)为理论基础,依据循环神经网络和增强学习构建出具有情感倾向的对话生成模型。本文主要贡献如下:(1)梳理归纳了近几年生成对话模型的研究进展,并总结了它们的优缺点,指出了情感因素在对话系统中的重要意义。(2)在生成式对话模型的情感控制研究中,通过对抗网络和增强学习来指导生成模型的情感倾向。相比该方向的其他研究方法,该方法提出了一个新思路,并且有效便捷。(3)本文设计了一个全新的判别模型。提出了基于TextRank和Word2Vec结合的特征权重模型,通过该模型可以计算短文本的特征权重;除此之外,本文还将文本特征权重作为向量和分级分类模型得到的向量进行拼接组合,得到一个具有文本语义和文本特征的...

【文章页数】：66 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第1章 绪论
    1.1 对话模型的定义与划分
    1.2 对话模型的研究历史与现状
    1.3 情感模型的研究历史与现状
    1.4 对话情感模型的研究意义
    1.5 本文的组织结构
第2章 对话情感模型的相关技术介绍
    2.1 循环神经网络
        2.1.1 循环神经网络简介
        2.1.2 长短时记忆神经网络(LSTM)
        2.1.3 循环神经网络在NLP中的应用与扩展
    2.2 Sequence-to-Sequence模型
        2.2.1 Sequence-to-Sequence模型简介
        2.2.2 带有注意力机制的Sequence-to-Sequence模型
    2.3 TextRank算法
        2.3.1 PageRank算法
        2.3.2 TextRank算法
    2.4 Word2Vec算法
        2.4.1 词向量简介
        2.4.2 Word2Vec向量
    2.5 生成对抗网络
    2.6 增强学习
        2.6.1 马尔科夫决策过程
        2.6.2 增强学习
    2.7 本章小结
第3章 对话情感模型的算法设计
    3.1 对话情感模型概述
    3.2 生成模型设计
        3.2.1 生成模型概述
        3.2.2 具有注意力机制的Sequence-to-Sequence模型
    3.3 判别模型设计
    3.4 策略梯度的应用
        3.4.1 策略梯度的概述
        3.4.2 蒙特卡洛采样
        3.4.3 策略梯度的在模型中的应用
    3.5 模型的损失函数
        3.5.1 损失函数概述
        3.5.2 交叉熵函数
    3.6 本章小结
第4章 对话情感模型的判别模型算法设计
    4.1 分级向量模型
    4.2 基于TextRank和Word2Vec结合的特征权重计算方法
    4.3 组合向量
    4.4 Sigmoid激活函数
    4.5 判别模型分类实验与分析
    4.6 本章小结
第5章 对话情感模型的实验设计与效果展示
    5.1 实验环境、语料及预处理
    5.2 对话情感模型的训练
    5.3 对话情感模型的效果展示
    5.4 本章小结
总结
    本文总结
    工作展望
参考文献
攻读硕士学位期间取得的研究成果
致谢



本文编号：3911605