抽取式中文机器阅读理解研究

发布时间：2022-09-28 21:13

　　随着人工智能理论和技术的飞速发展,机器阅读理解成为学术界和工业界研究的热点之一。机器阅读理解,是由计算机自动根据给定的文本来回答用户所提出的问题。机器阅读理解不仅能提升问答系统的准确度和丰富度,而且还可以作为衡量机器是否能理解人类语言的标准之一。机器在进行阅读理解时需要具备两个方面的能力:1)尽可能回答有答案的问题,2)尽可能识别无答案的问题。尽管机器阅读理解在近几年取得了突破性的进展,但是仍然存在一些不足,例如:1)当前方法侧重于提升通用预训练语言模型的表示能力,并没有针对机器阅读理解的特点进行优化,导致其回答问题的能力有所欠缺;2)当前方法假设给定文本中一定存在答案,无法有效地识别无答案的问题。针对以上两点不足,本文提出基于联合注意力机制的机器阅读理解模型来提升回答问题的能力,以及基于推理和验证的机器阅读理解模型来提升识别无答案问题的能力。本文主要工作如下:（1）本文提出了一个基于联合注意力机制的机器阅读理解模型（JointAtt-MRC）,在预训练语言模型的网络结构后面添加信息交互层来加强模型对文本的表示能力,提高模型在机器阅读理解上的表现。该模型不仅通过双向长短期记忆网络缓解预... 

【文章页数】：69 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第一章 绪论
    1.1 研究背景与意义
    1.2 国内外研究现状
    1.3 本文的研究内容
        1.3.1 基于联合注意力机制的机器阅读理解模型
        1.3.2 基于推理和验证的机器阅读理解模型
        1.3.3 开放域中文机器阅读理解系统
    1.4 本文组织结构
第二章 相关理论与技术
    2.1 机器阅读理解简介
    2.2 常见文本表示方法
        2.2.1 卷积神经网络
        2.2.2 循环神经网络
        2.2.3 Transformer网络
    2.3 预训练语言模型
        2.3.1 自回归语言模型
        2.3.2 自编码语言模型
    2.4 机器阅读理解模型
        2.4.1 基于循环神经网络与卷积神经网络的机器阅读理解模型
        2.4.2 基于预训练语言模型的机器阅读理解模型
    2.5 自然语言推理模型
        2.5.1 基于深度学习的自然语言推理模型
        2.5.2 缓解数据类别不均衡的损失函数
    2.6 本章小结
第三章 基于联合注意力机制的机器阅读理解模型
    3.1 引言
    3.2 问题描述
    3.3 数据集构建
        3.3.1 现有中文机器阅读理解数据集分析
        3.3.2 英文数据集翻译
        3.3.3 答案起始标签重对齐
        3.3.4 数据集标注系统
    3.4 模型设计
        3.4.1 模型结构
        3.4.2 基于联合注意力机制的编码器
        3.4.3 基于联合概率的答案抽取器
        3.4.4 目标函数
    3.5 实验环境
        3.5.1 数据准备
        3.5.2 参数设置
        3.5.3 实验设置
    3.6 实验结果与分析
        3.6.1 最大序列长度对实验结果的影响分析
        3.6.2 最大答案长度对实验结果的影响分析
        3.6.3 多任务学习对实验结果的影响分析
        3.6.4 不同网络层添加对实验结果的影响分析
        3.6.5 Chinese-SQuAD数据集的鲁棒性实验分析
    3.7 本章小结
第四章 基于推理和验证的机器阅读理解模型
    4.1 引言
    4.2 问题描述
    4.3 模型设计
        4.3.1 模型结构
        4.3.2 前置推理器
        4.3.3 后置验证器
        4.3.4 分类损失函数
        4.3.5 目标函数
    4.4 实验环境
        4.4.1 数据准备
        4.4.2 参数设置
        4.4.3 实验设置
    4.5 实验结果与分析
        4.5.1 前置推理器和后置验证器实验结果分析
        4.5.2 Focal Loss对后置验证器实验结果的影响分析
        4.5.3 前置推理器对机器阅读理解实验结果的影响分析
        4.5.4 后置验证器对机器阅读理解实验结果的影响分析
    4.6 本章小结
第五章 开放域中文机器阅读理解系统
    5.1 引言
    5.2 开放域机器阅读理解系统流程设计
    5.3 系统模块设计与实现
        5.3.1 检索模块
        5.3.2 段落排序与抽取模块
        5.3.3 答案抽取模块
        5.3.4 后台模块
        5.3.5 前台模块
    5.4 本章小结
第六章 总结与展望
    6.1 总结
    6.2 展望
参考文献
研究成果及参与的科研项目
致谢


【参考文献】：
期刊论文
[1]基于深度学习的机器阅读理解综述[J]. 李舟军,王昌宝.  计算机科学. 2019(07)
[2]基于自注意力机制的阅读理解模型[J]. 张浩宇,张鹏飞,李真真,谭庆平.  中文信息学报. 2018(12)

硕士论文
[1]基于多粒度和注意力机制的机器阅读理解[D]. 何启涛.广东工业大学 2019
[2]基于改进自注意力的机器阅读理解系统设计与实现[D]. 姚澜.华中科技大学 2019
[3]基于深度学习的机器阅读理解算法研究[D]. 葛学志.电子科技大学 2019
[4]机器阅读理解模型中的关键问题研究[D]. 李亚慧.哈尔滨工业大学 2018
[5]中文阅读理解选择题求解技术研究[D]. 陈夏飞.山西大学 2018
[6]基于文本蕴含识别的答案验证技术研究[D]. 赵得志.哈尔滨工业大学 2018
[7]融合多重语义对齐表示的机器阅读理解研究[D]. 季静.南京师范大学 2018



本文编号：3682396