可控闲聊对话系统的研究

发布时间：2021-05-17 17:23

　　在互联网和人工智能技术快速发展的时代,对话系统以其自然友好的交互方式,促进了人和信息的连接。而在开放领域下构建的聊天对话系统,更有着广阔的研究价值和应用前景。现有的闲聊对话系统基于神经网络技术构建,往往难以控制对话回复里的属性,如生成带有高兴情感的回复。目前还不够成熟的回复可控性大大限制了对话系统的进一步研究和应用推广。因此,可控的闲聊对话生成在对话系统研究中有着重要的意义。闲聊对话系统主要基于神经网络的编码器-解码器结构,在大规模语料上以端到端的方式训练。这样的模型往往难以控制回复的特定属性,如情感,句式。具体的,情感对话控制生成是根据给定的对话输入和目标情感类别,生成符合该情感的回复;而回复句式一般分为疑问句、感叹句、陈述句和祈使句,控制句式的生成可以达到不同的回复语气和目的。因此,本文从具有代表性的情感和句式这两个可控闲聊对话生成任务为研究切入点,探索实验了如何建模输入消息和控制条件,并做出了以下工作内容和研究成果:（1）作为情感对话场景下的情感词向量,设计了基于多任务学习的情感词向量训练模型。模型结合了语言模型和情感分类任务,通过预训练-微调的方式有效的融合了语义和情感在词向量... 

【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校

【文章页数】：66 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第一章 绪论
    1.1 课题研究背景及意义
    1.2 国内外研究现状
    1.3 论文主要工作
    1.4 论文的组织架构
第二章 闲聊对话系统及其关键技术
    2.1 闲聊对话系统概述
    2.2 生成式对话基础技术
        2.2.1 词向量和语言模型
        2.2.2 循环神经网络
        2.2.3 基于注意力机制的序列到序列框架
        2.2.4 条件变分自动编码器框架
    2.3 可控文本生成技术
        2.3.1 知识引导的KgCVAE框架
        2.3.2 情感对话生成ECM框架
        2.3.3 文本控制生成的VAE模型
        2.3.4 长文本生成的LeakGAN模型
    2.4 本章小结
第三章 情感词向量和情感对话控制生成研究
    3.1 引言
    3.2 对话系统中的词向量语义专业化
    3.3 情感词向量的研究
        3.3.1 情感词向量模型的结构
        3.3.2 模型的损失函数
        3.3.3 实验数据
        3.3.4 超参数的设置和实验指标
        3.3.5 实验结果和分析
    3.4 情感控制的对话生成
        3.4.1 情感和内容的解耦表示
        3.4.2 内容和情感的融合生成
        3.4.3 训练的损失函数
    3.5 实验
        3.5.1 实验数据集
        3.5.2 超参数设置
        3.5.3 评价指标
        3.5.4 实验结果分析
    3.6 本章小结
第四章 句式控制的闲聊对话系统研究
    4.1 引言
    4.2 句式控制对话生成相关工作
        4.2.1 Type-CVAE的编码器
    4.3 层级控制信号引导的HCVAE模型
        4.3.1 HCVAE的编码器和解码器
        4.3.2 控制信号建模
        4.3.3 模型的训练
    4.4 实验
        4.4.1 实验数据集
        4.4.2 超参数设置
        4.4.3 评价指标
        4.4.4 实验结果分析
    4.5 本章小结
第五章 总结和展望
    5.1 总结
    5.2 展望
参考文献
致谢
攻读学位期间取得的研究成果



本文编号：3192147