任务型对话系统中语义理解的应用研究

发布时间：2022-12-22 22:55

　　人工智能的发展和智能设备的推广正在改变着人们的生活,越来越多的用户通过人机对话的方式来获得高效便捷的服务。自然语言理解的准确与否是衡量对话系统智能化程度的重要因素,它的效果会直接影响对话系统后续的对话状态追踪和回复内容生成任务。目前,由于中文语义理解面临着缺乏特定任务领域的公开数据集、用户表达的不规范性、语义的多样性和意图的隐含性等挑战,所以中文对话系统中的自然语言理解问题备受关注。因此,任务型对话系统中的语义理解的研究具有巨大的科研价值和应用价值。针对任务型中文对话系统的现状,本文构建了中文任务型对话系统的语义理解数据集,在基础数据的基础上,通过将句子输入搜索引擎找相似句子和人工造句两种方式进行了扩充和标注。扩充后的数据集包括7个领域,每条数据都包含对应的领域类别标签、意图类别和语义槽,共53327条数据。此外,本文提出了端到端的基于领域分类、意图识别和语义槽填充三项任务的联合识别模型,进行了算法实现,效果最好的结合ERNIE的联合识别模型的句准确率为95.27%,并和基于Word2Vec词向量的传统模型的自然语言理解方法和基于BERT预训练基础模型的方法做了对比实验,验证了提出的模... 

【文章页数】：77 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第1章 绪论
    1.1 选题背景
    1.2 语义理解的挑战
        1.2.1 数据集的匮乏
        1.2.2 用户表达的不规范性
        1.2.3 多意图的混合
        1.2.4 意图的隐含性
    1.3 国内外研究现状
    1.4 主要工作及意义
    1.5 组织结构
    1.6 本章小结
第2章 相关技术与理论基础
    2.1 Word2Vec词向量的表示
    2.2 预训练模型
        2.2.1 BERT
        2.2.2 Seq2Seq
        2.2.3 注意力机制
        2.2.4 Transformer框架
        2.2.5 BERT预训练
        2.2.6 ERNIE
    2.3 基于深度学习的识别方法
        2.3.1 卷积神经网络
        2.3.2 循环神经网络及其变体
    2.4 本章小结
第3章 系统设计与架构
    3.1 整体架构
    3.2 语音识别和语音合成
    3.3 智能对话
        3.3.1 意图库
        3.3.2 语义理解
        3.3.3 对话状态追踪
        3.3.4 对话策略
        3.3.5 对话响应
    3.4 服务动态组合
    3.5 本章小结
第4章 基于深度学习的语义理解方法
    4.1 问题描述
    4.2 文本预处理
        4.2.1 文本分词
        4.2.2 基于Word2Vec的词向量表示
        4.2.3 标签的结构化表示
    4.3 算法描述
    4.4 领域分类模型
        4.4.1 基于CNN的语义特征提取
        4.4.2 基于LSTM的领域分类
    4.5 意图分类模型
    4.6 语义槽填充模型
    4.7 本章小结
第5章 结合预训练模型的联合识别方法
    5.1 算法描述
    5.2 模型向量解码
        5.2.1 模型编码部分
        5.2.2 模型解码部分
    5.3 基于BERT的模型
        5.3.1 基于BERT的基础模型
        5.3.2 融合外界知识的BERT模型
        5.3.3 基于BERT的 LSTM模型
    5.4 基于ERNIE的模型
        5.4.1 基于ERNIE的基础模型
        5.4.2 基于ERNIE的 LSTM模型
    5.5 本章小结
第6章 实验分析与讨论
    6.1 实验数据集
    6.2 评价指标
    6.3 实验准备
        6.3.1 实验环境
        6.3.2 预处理
    6.4 实验设计
        6.4.1 Word2Vec-CNN-LSTM模型
        6.4.2 其他预训练模型
        6.4.3 模型的超参数设置
    6.5 实验结果与对比分析
    6.6 本章小结
第7章 总结与展望
    7.1 工作总结
    7.2 未来展望
参考文献
攻读硕士学位期间的主要研究成果
致谢


【参考文献】：
期刊论文
[1]一种用户为中心的即时服务组合方法[J]. 张峰,韩燕波,魏永山,陈欣.  西安交通大学学报. 2012(12)
[2]一种用户为中心、基于多视图合成的服务组合方法[J]. 丁维龙,王菁,赵栓.  计算机学报. 2011(01)
[3]基于Petri网的语义Web服务自动组合方法[J]. 汤宪飞,蒋昌俊,丁志军,王成.  软件学报. 2007(12)



本文编号：3724212