基于端对端方法的任务型对话系统设计与实现

发布时间：2024-12-15 20:57

　　随着人工智能的发展,人机对话系统成为了学术研究的热点。广泛应用于任务型对话系统的方法是基于模块化的思想,将系统划分为自然语言理解、对话管理以及自然语言生成三个子模块。这种分而治之的方式保证了每个子任务独立建模,简单易于实现,但同时也存在三个问题:一是模块之间的依赖性强,数据的更新会带动所有模块进行调整以保证系统的全局优化;二是每个模块的训练需要大量独立的标签数据;三是子模块的设计跟特定领域相关,导致模型的领域移植性差。近年来,大量研究尝试使用基于端到端的对话框架来解决上述问题,然而现有的端到端模型多集中于非面向任务的对话系统,缺少对自然语言理解的建模及领域知识的应用。针对上述问题,本论文设计与实现了一个基于端对端方法的任务型对话系统。具体来说,本文的主要研究内容包括:（1）在自然语言理解的意图识别任务上,分别介绍了基于CNN、RNN以及两者混合的意图识别模型,其中重点提出了一种带有自注意力机制（self attention）的RNN模型。最后,实验结果对比表明带有加性自注意力的BiLSTM模型表现效果最好。（2）在自然语言理解的槽位填充任务上,分别介绍了基于统计机器学习、基于神经网络以及...

【文章页数】：69 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第一章 绪论
    1.1 研究背景
    1.2 研究目标
        1.2.1 基于模块化的任务型对话系统概述
        1.2.2 基于端到端的任务型对话系统概述
        1.2.3 研究意义
    1.3 研究现状
        1.3.1 基于模块化的任务型对话系统研究现状
        1.3.2 基于端到端的任务型对话系统研究现状
    1.4 本论文的研究内容
    1.5 本论文的章节安排
    1.6 本章小结
第二章 基于神经网络的意图识别任务研究
    2.1 意图识别任务描述
    2.2 基于神经网络的意图识别模型
        2.2.1 基于CNN的意图识别模型
        2.2.2 基于RNN的意图识别模型
        2.2.3 基于CNN和 RNN的多层意图识别模型
    2.3 实验结果及分析
        2.3.1 实验数据及预处理
        2.3.2 实验评价指标
        2.3.3 实验参数设置
        2.3.4 实验结果对比分析
    2.4 本章小结
第三章 基于神经网络的槽位填充任务研究
    3.1 槽位填充任务描述
    3.2 基于统计机器学习的序列标注模型
        3.2.1 隐马尔可夫模型
        3.2.2 最大熵隐马尔可夫模型
        3.2.3 条件随机场模型
    3.3 基于深度学习的序列标注模型
        3.3.1 基于Stacked_CNN的序列标注模型
        3.3.2 基于BiLSTM的序列标注模型
    3.4 基于深度学习与统计学习相结合的序列标注模型
    3.5 实验结果及分析
        3.5.1 实验数据集及预处理
        3.5.2 实验评价指标
        3.5.3 实验参数设置
        3.5.4 实验结果对比分析
    3.6 本章小结
第四章 基于端到端方法的任务型对话系统
    4.1 基于端到端方法的任务型对话系统模型
        4.1.1 基于端到端方法的任务型对话系统架构
        4.1.2 文本的特征表示
        4.1.3 命名实体识别与状态跟踪
        4.1.4 基于RNN的对话策略网络
    4.2 自然语言理解模型的引入与联合建模
        4.2.1 端到端模型的特征表示中引入自然语言理解
        4.2.2 自然语言理解与对话管理的联合建模
    4.3 模型实验
        4.3.1 实验数据集及预处理
        4.3.2 评价指标
        4.3.3 参数设置
        4.3.4 实验结果对比分析
    4.4 本章小结
总结与展望
    总结
    展望
参考文献
攻读硕士学位期间取得的研究成果
致谢
附件



本文编号：4016455