基于深度学习的答案选择算法研究

发布时间：2021-11-06 02:22

　　答案选择任务定义为给定问题及与其对应的一组候选答案,从该候选答案集中挑选出问题的正确答案,因此可以看成建模问答句子间相似度的匹配问题。本课题主要研究通过深度学习神经网络将问答数据集的上下文信息引入模型中,并构建知识网络的方式,对问答句子进行重新表示,验证这些补充信息的效果。通过设计对比实验最终证明了模型的有效性。本文研究的主要工作有以下四点:1.对目前答案选择任务的预处理方式进行改进,通过构建模型判别数据集内所有问题,充分利用现有数据集的同时减少人工成本,增强模型的实用性。2.采用神经网络将同一候选集中的上下文语义引入答案句子的编码中,对每个候选答案进行重新表示,提高神经网络建模问题和答案之间语义关联的能力。3.通过构建知识记忆网络,引入知识权重向量,完成问题、答案句子的编码表示,实验结果证明模型能更好学习问答对之间重要的语义信息。4.将上下文信息和知识网络相结合,对候选答案进行重新表示,并通过实验数据验证了任务指标上的提升。

【文章来源】： 北京邮电大学北京市 211工程院校 教育部直属院校

【文章页数】：72 页

【文章目录】：
摘要
Abstract
第一章 绪论
    1.1 课题介绍
        1.1.1 研究背景
        1.1.2 研究意义
    1.2 课题工作
        1.2.1 主要研究内容
        1.2.2 研究创新点
    1.3 论文框架
第二章 相关技术原理介绍
    2.1 文本向量化
        2.1.1 离散表示
        2.1.2 分布式表示
    2.2 语言模型
        2.2.1 基于共现概率的语言模型
        2.2.2 基于文档词集合的语言模型
        2.2.3 神经网络语言模型
    2.3 神经网络结构
        2.3.1 循环神经网络
    2.4 注意力机制
    2.5 文中其他指标介绍
        2.5.1 词频-逆文档频率
        2.5.2 评价指标
        2.5.3 余弦距离计算方法
    2.6 本章小结
第三章 引入上下文语义的改进模型
    3.1 答案选择任务介绍
        3.1.1 研究背景
        3.1.2 基础框架
    3.2 基于向量表示的答案选择模型
        3.2.1 卷积神经网络向量表示
        3.2.2 循环神经网络向量表示
        3.2.3 联合卷积与循环网络的向量表示
    3.3 上下文引入方式
        3.3.1 模型整体构造
        3.3.2 句子编码方式
    3.4 实验数据与分析
        3.4.1 数据集介绍
        3.4.2 实验设置
        3.4.3 实验结果分析
    3.5 实验示例
    3.6 本章小结
第四章 基于知识记忆网络的答案选择模型
    4.1 任务介绍
    4.2 知识网络模型
        4.2.1 知识向量的表示
        4.2.2 包含知识的问题表示
        4.2.3 包含知识的答案表示
        4.2.4 使用知识表示问答对
    4.3 相关实验与结果
        4.3.1 验证知识记忆网络有效性
        4.3.2 上下文语义的作用效果
        4.3.3 样例分析
    4.4 中文数据集实验结果
        4.4.4 数据集介绍
        4.4.5 实验设置与结果分析
    4.5 本章小结
第五章 总结
    5.1 工作总结
    5.2 工作展望
参考文献
致谢
攻读学位期间取得的研究成果


【参考文献】：
期刊论文
[1]基于人工神经网络的深度学习算法综述 [J]. 刘俊一.  中国新通信. 2018(06)



本文编号：3478970