基于Transformer的对话系统设计

发布时间：2022-02-19 06:08

　　近年来,随着大数据和深度学习技术的不断发展,对话系统在各个领域越来越引起人们的重视。对话系统大致可分为两种:任务导向型对话系统和非任务导向型对话系统。面向任务的系统旨在帮助用户完成实际具体的任务,非任务导向的对话系统与人类交互,提供合理的回复和娱乐消遣功能,通常情况下主要集中在开放的领域与人交谈。虽然非任务导向的系统似乎在进行聊天,但是它在许多实际应用程序中都发挥了作用。在非任务导向型对话系统中,比较常见的是用Seq2Seq生成闲聊型机器人。但普通Seq2Seq可能出现如负面情感的回复、疑问句式的回复、回复的多样性较低等问题,导致用户体验差或者对话上下文不够连贯。并且,对于多轮对话系统来说,现有的Seq2Seq模型并不能令人满意。在多轮回答选择中,重要的是要在之前的话语中找出重要的信息,并恰当地模仿话语的关系,以确保谈话的连贯性。所以多轮对话的难点为:如何明确上下文的关键信息,在上下文中如何模拟多轮对话间的关系。本论文设计并实现了一个基于Transformer和记忆网络的多轮对话系统,具体工作如下:（1）针对当前的记忆网络在复杂问答任务上表现不佳的问题,本文在端到端记忆网络的基础上提出... 

【文章来源】：天津工业大学天津市

【文章页数】：72 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
第一章 绪论
    1.1 研究背景和意义
    1.2 对话系统概述
    1.3 国内外研究现状
        1.3.1 国外研究现状
        1.3.2 国内研究现状
    1.4 论文主要工作
    1.5 论文各章节安排
第二章 对话系统相关技术
    2.1 词嵌入
        2.1.1 word2vec
        2.1.2 ELMO
        2.1.3 BERT
    2.2 神经网络
        2.2.1 RNN
        2.2.2 LSTM
        2.2.3 GRU
    2.3 记忆网络
        2.3.1 Memory Networks
        2.3.2 End-To-End Memory Networks
        2.3.3 Dynamic Memory Networks
    2.4 优化函数
        2.4.1 梯度下降法(Gradient Descent)
        2.4.2 动量优化法
        2.4.3 自适应学习率优化算法
    2.5 注意力机制
        2.5.1 Encoder-Decoder框架
        2.5.2 Attention机制
        2.5.3 Global Attention和 Local Attention
        2.5.4 Self Attention
    2.6 Beam Search算法
    2.7 本章总结
第三章 基于记忆网络的问答系统模型设计
    3.1 问答系统介绍
        3.1.1 问题描述
        3.1.2 数据集介绍
        3.1.3 评价标准
    3.2 实验设计
        3.2.1 编码部分
        3.2.2 模型设计
    3.3 实验效果
    3.4 本章总结
第四章 基于Transformer的单轮对话模型设计
    4.1 序列建模
        4.1.1 Text CNN模型
        4.1.2 RNN和注意力机制
    4.2 问题描述
    4.3 实验准备
        4.3.1 实验数据
        4.3.2 评价指标
    4.4 实验设计
        4.4.1 Transformer
        4.4.2 模型设计
    4.5 实验结果
    4.6 本章总结
第五章 基于Transformer的多轮对话模型设计
    5.1 问题描述
    5.2 实验数据
    5.3 实验设计
    5.4 实验结果
    5.5 本章总结
第六章 总结和展望
参考文献
研究生期间发表论文及参加科研情况说明
致谢



本文编号：3632367