基于深度学习的端到端面向任务对话系统研究

发布时间：2021-04-24 22:59

　　现在,面向任务对话系统成为了各大高校和许多大型互联网公司以及一些初创公司的研究焦点。目前,对面向任务对话系统的研究主要是基于管道方法和基于端到端方法。管道方法需要大量的面向特定领域的手工制作,存在信用分配问题以及过程中模块的相互依赖问题,使用端到端方法可以避免这些问题。本文提出基于有监督的深度学习,使用端到端方法实现的面向任务的对话系统,该系统用于帮助用户寻找餐馆。由于面向特定任务的对话数据难以搜集,并且噪音高,本系统采用去词汇化操作和共享权重策略以减少训练模型所需的数据,并提高系统泛化能力。本系统由自然语言理解模块、对话状态追踪模块、数据库操作模块、对话策略模块和自然语言生成模块组成。本文主要研究内容包括:（1）本文使用去词汇化方法对用户输入的句子进行预处理,依据本体库中定义的槽值对,对句子中出现的槽和槽对应的值做去词汇化处理,以提高对话状态追踪器的泛化能力。（2）在自然语言理解模块,本系统使用双向LSTM建模,模型将去词汇化处理后的序列作为输入,输出用户意图的分布式表示。（3）本系统使用卷积神经网络提取用户输入序列的特征,并使用循环神经网络为对话状态追踪器建模。从当前用户输入与历史... 

【文章来源】：山东大学山东省 211工程院校 985工程院校 教育部直属院校

【文章页数】：64 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第1章 绪论
    1.1 课题背景与研究目的和意义
    1.2 面向任务对话系统研究现状
        1.2.1 管道方法研究现状
        1.2.2 端到端方法研究现状
    1.3 本文主要工作
    1.4 本文结构
第2章 相关理论基础
    2.1 神经网络基础
        2.1.1 神经网络简介
        2.1.2 BP神经网络
        2.1.3 卷积神经网络（CNN）
        2.1.4 CNN在句子建模上的应用
        2.1.5 循环神经网络（RNN）
        2.1.6 长短期记忆网络（LSTM）
        2.1.7 双向LSTM
    2.2 自然语言处理相关知识
        2.2.1 n-gram模型
        2.2.2 Word Embedding词嵌入
        2.2.3 Seq2Seq模型介绍
        2.2.4 Attention机制
        2.2.5 Beam Search算法简介
    2.3 本章小结
第3章 基于端到端方法的面向任务对话系统
    3.1 基于端到端方法的面向任务对话系统的结构框架
        3.1.1 本体和去词汇化特征
        3.1.2 自然语言理解模块（Encoder）
        3.1.3 对话状态追踪
        3.1.4 数据库操作模块
        3.1.5 对话策略模块
        3.1.6 自然语言生成模块
    3.2 本章小结
第4章 实验结果与分析
    4.1 面向任务对话数据集
    4.2 系统训练与实验设置
        4.2.1 追踪器训练
        4.2.2 系统训练
    4.3 测试与分析
        4.3.1 对话状态追踪性能评估
        4.3.2 BLEU评估标准
        4.3.3 系统测试与分析
    4.4 本章小结
第5章 总结与展望
    5.1 总结
    5.2 展望
参考文献
致谢
攻读学位期间发表的学术成果和参加的科研项目
学位论文评阅及答辩情况表



本文编号：3158219