基于多示例注意力机制的自然问答生成模型研究与设计

发布时间：2022-02-22 08:57

　　知识库问答（Knowledge Base Question Answering,简称KBQA）即给定自然语言问题,首先将问题进行语义解析和语义理解,再将问题关键内容在知识库中查询,最后通过知识库三元组推断出答案,由于其应用领域多样,广泛地服务于我们的日常生活。传统的知识库问答方案如管道式系统,通常需要划分为几个连续的模块:语义表示、语义匹配、查询和推理等。这样的系统虽然能够解决回答的问题,然而对误差传递十分敏感,普适性也较差,每当推广到一个全新的领域都需要大量人工的重构。因此,端到端的自然问答生成模型（Natural Answer Generation,简称NAG）应运而生,是现如今基于知识库的问答这一议题中的热门话题。自然答案生成模型是一种基于深度学习的端到端式生成模型,可以利用结构化的知识库生成自然语言答案。然而,目前的自然问答模型均假设一个问题只有一个答案,实际上,真实世界的社区问答中通常包含用户问题的多个答案,而且许多答案的质量各不相同。本文针对这一问题,提出了一种新的方法,使用多示例学习原理将问题、相关的回答及相关的知识库组织成“数据包”,以动态地减少噪声实例的权重。特别的是... 

【文章来源】：北京邮电大学北京市211工程院校教育部直属院校

【文章页数】：91 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第一章 绪论
    1.1 研究背景
    1.2 研究意义
    1.3 研究创新点总结
    1.4 论文组织结构
第二章 背景理论及相关技术介绍
    2.1 端到端的序列生成模型
        2.1.1 长短时记忆单元(LSTM)
        2.1.2 序列到序列生成模型(Seq2Seq)
    2.2 基于知识库的自然问答背景及现状
        2.2.1 问答系统
        2.2.2 基于知识库的问答
        2.2.3 自然问答生成
    2.3 多示例算法简介
    2.4 常用注意力机制模型简介
        2.4.1 自注意力机制
        2.4.2 选择注意力机制
    2.5 社区问答数据的应用简介
    2.6 课程学习算法简介
    2.7 本章小结
第三章 需求与关键问题分析
    3.1 需求概述
    3.2 数据特点与分析
    3.3 基于自然答案生成模型的需求与难点分析
        3.3.1 基线模型COREQA原理
        3.3.2 自然答案生成模型的需求分析
        3.3.3 基于多示例算法的难点分析
    3.4 基于注意力机制的难点分析
    3.5 课程学习问题转化
    3.6 本章小结
第四章 多示例方案建模自然问答
    4.1 数据预处理
        4.1.1 数据格式规范化
        4.1.2 数据包组织
    4.2 模型整体方案设计
    4.3 基于多示例的损失函数的优化与注意力机制的结合
        4.3.1 基于知识库的问答的多示例损失函数
    4.4 权重赋值方案详细设计
        4.4.1 单示例选择
        4.4.2 预先赋权
        4.4.3 基于选择注意力赋权
        4.4.4 基于自注意力赋权
    4.5 本章小结
第五章 基于课程学习的方案优化
    5.1 单示例多示例混合数据建模方案
    5.2 基于课程学习的方案优化方法
        5.2.1 基于示例难度的建模
        5.2.2 基于多示例学习的建模
    5.3 本章小结
第六章 模型的测试与分析
    6.1 实验环境及必要参数
    6.2 实验数据预处理结果
        6.2.1 文本分词及词典构建结果
        6.2.2 语料重编码
        6.2.3 词向量的预训练结果
        6.2.4 数据包组织及必要限制
    6.3 实验评价指标
        6.3.1 准确率
        6.3.2 BLEU值
        6.3.3 ROUGE值
    6.4 基于多示例的方案实验
        6.4.1 主体实验结果及分析
        6.4.2 长度正则效果对比及分析
        6.4.3 答案生成实体包含情况分析
        6.4.4 注意力机制效果分析
        6.4.5 结果案例展示及错误分析
    6.5 课程学习优化实验
    6.6 本章小结
第七章 总结与展望
    7.1 论文总结
    7.2 工作展望
参考文献
致谢
攻读学位期间发表的学术论文目录


【参考文献】：
期刊论文
[1]知识图谱的发展与构建[J]. 李涛,王次臣,李华康.  南京理工大学学报. 2017(01)



本文编号：3639124