基于深度学习的开放领域自动问答系统的研究和应用

发布时间：2021-04-23 13:09

　　开放领域自动问答系统旨在通过自然语言为用户提供快速便捷的信息获取方式,其在搜索引擎、智能数字助理（如小米公司的小爱同学）等方面具有广泛的应用,也越来越引起人们的注意。目前流行的自动问答系统主要包括社区问答和知识库问答,社区问答从内容社区中查找与用户问题相近的历史问题并且将其答案返回给用户作为用户问题的答案,知识库问答主要是将自然语言解析、转化为结构化的查询语句,然后查询知识图谱等知识库来获取当前问题的答案,并且答案通常为一个实体。在社区问答中,由于用户问题和已有问句都比较短,所以基于关键词匹配的检索模型很难达到较好的匹配精准度,而知识库问答由于词汇表和查询规则集都是人工编写的,所以随着数据库的扩大,最终都变得难以维护和扩充。因此,出现了一些基于神经网络技术的自动问答系统来缓解这些问题。本文主要研究自然语言阅读理解技术,并且以此为基础搭建自动问答系统,主要工作内容如下:本文提出了两个基于深度学习的机器阅读理解模型,其中一个模型是抽取式阅读理解模型,该模型最终从给定文本中抽取一个词或者连续的几个词作为问题最终的答案,另一个模型是生成式阅读理解模型,该模型结合给定文本,最终从预设的字典中自行... 

【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校

【文章页数】：61 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第一章 引言
    1.1 论文的背景和意义
    1.2 研究现状
        1.2.1 自动问答系统
        1.2.2 阅读理理解技术
    1.3 论文工作及章节安排
        1.3.1 论文研究的内容和创新点
        1.3.2 论文的章节安排
第二章 基础知识
    2.1 预训练词嵌入
    2.2 深度语境词表征—ELMo
    2.3 预训练语言模型——GPT
第三章 抽取式机器阅读理解模型
    3.1 数据集与任务
        3.1.1 SQuAD数据集的构建方式及评测指标
        3.1.2 任务定义
    3.2 模型设计
        3.2.1 模型的背景
        3.2.2 模型网络结构
        3.2.3 损失函数
        3.2.4 答案生成
    3.3 实现与训练细节
    3.4 实验结果
    3.5 本章小结
第四章 生成式机器阅读理解模型
    4.1 数据集与任务
        4.1.1 MARCO数据集的构建方式及评测指标
        4.1.2 任务定义
    4.2 生成模型的数据预处理
        4.2.1 数据扩充
        4.2.2 添加负样本
    4.3 模型运行整体结构
    4.4 段落选择器（Paragraph Selector）
        4.4.1 数据预处理
        4.4.2 模型结构
        4.4.3 损失函数
    4.5 生成式阅读理解模型
        4.5.1 基于BERT的编码器
        4.5.2 指针生成解码器
        4.5.3 损失函数
        4.5.4 实验细节
    4.6 实验结果
        4.6.1 阅读理解模型实验结果
        4.6.2 段落选择器实验结果
    4.7 本章小结
第五章 自动问答系统
    5.1 系统整体结构
    5.2 系统模块及运行逻辑
        5.2.1 信息检索模块
        5.2.2 答案生成模块
    5.3 系统测评
    5.4 系统运行展示
    5.5 本章小结
第六章 总结
    6.1 本文总结
    6.2 未来展望
参考文献
致谢


【参考文献】：
期刊论文
[1]问答系统研究综述[J]. 毛先领,李晓明.  计算机科学与探索. 2012(03)
[2]自动问答综述[J]. 郑实福,刘挺,秦兵,李生.  中文信息学报. 2002(06)

硕士论文
[1]基于深度强化学习的对话管理模型研究与应用[D]. 马跃.北京邮电大学 2018
[2]基于低维向量空间的知识推理方法研究[D]. 陈文瑞.哈尔滨工业大学 2017



本文编号：3155388