基于大规模候选集的检索型多轮对话模型

发布时间：2021-02-08 15:15

　　随着人工智能技术的深刻变革,新一代端到端聊天式对话系统已广泛用于娱乐聊天机器人、个人助手和公司智能客服等实际场景中,成为人工智能领域最具有应用前景的技术之一。与传统的人机交互方式不同,智能对话系统不仅能够理解人类日常交流的语言并作出有意义的回答,还能够通过一系列的对话完成某一项任务。通常地说,端到端聊天式对话系统技术主要分为检索式对话系统和生成式对话系统两大类。生成式对话系统根据已经进行的对话历史利用自然语言生成技术重新生成回复。尽管生成式系统有希望能够不局限于预先建立回复的范围,但是生成式系统也会遭受目前自然语言生成技术所带来的流畅性不足、倾向于回复通用性语句等问题。相比于之下,检索式对话系统主要利用信息检索技术对一组预先建立的候选回复进行打分和返回最合适的回复,在大多数情况中能够提供更加流畅并有意义的回复。然而,预建立的候选语料质量不高会影响检索式对话系统的回复合理性,预建立候选回复的数目种类不足也会显著地降低检索式对话系统的回复多样性。针对上述问题,本文主要以较大规模候选集场景下的检索式多轮对话模型为研究课题,首先提出时空特征匹配网络,研究其在大量候选回复场景下的性能和效率,同时... 

【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校

【文章页数】：71 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
第一章 绪论
    1.1 研究工作的背景与意义
    1.2 聊天式对话系统的研究历史与现状
        1.2.1 基于人工规则的对话系统
        1.2.2 基于信息检索的对话系统
        1.2.3 基于序列生成的对话系统
    1.3 本文的主要贡献与创新
    1.4 本论文的结构安排
第二章 背景知识介绍
    2.1 多层神经网络
    2.2 卷积神经网络
        2.2.1 卷积层
        2.2.2 池化层
        2.2.3 全连接层
    2.3 循环神经网络
        2.3.1 长短期记忆网络
        2.3.2 门控循环单元
    2.4 注意力机制
        2.4.1 自注意力机制与Transformer
        2.4.2 交互注意力机制
    2.5 基于交互注意力机制的检索式对话系统
    2.6 本章小结
第三章 时空特征匹配网络
    3.1 引言
    3.2 问题定义
    3.3 网络结构
        3.3.1 词嵌入层
        3.3.2 语义表示层
        3.3.3 时空特征层
        3.3.4 基于三维卷积神经网络的判别器
    3.4 实验及分析
        3.4.1 实验数据集
        3.4.2 基线模型设置
        3.4.3 实验评估指标
        3.4.4 实验结果与分析
    3.5 本章小结
第四章 基于预训练语言模型的检索式对话模型
    4.1 引言
    4.2 预训练语言模型
        4.2.1 BERT
        4.2.2 BERT-WWM
        4.2.3 RoBERTa
    4.3 基于微调的预训练对话检索模型
        4.3.1 交谈者分割机制
        4.3.2 多轮对话增强方法
    4.4 实验及分析
        4.4.1 实验数据集
        4.4.2 基线模型
        4.4.3 模型参数设置
        4.4.4 实验结果及分析
    4.5 本章小结
第五章 全文总结与展望
    5.1 全文总结
    5.2 后续工作展望
致谢
参考文献
攻读硕士学位期间取得的成果


【参考文献】：
期刊论文
[1]关于统计学习理论与支持向量机[J]. 张学工.  自动化学报. 2000(01)



本文编号：3024124