融合语义信息的机器阅读理解方法

发布时间：2023-07-25 05:05

　　让计算机真正理解人类的语言,一直是自然语言处理领域的终极目标。机器阅读理解任务则正是评价计算机对于人类语言理解能力的一个重要方法。近年来,随着预训练语言模型技术的问世,计算机对于语言的理解能力获得了进一步提升,这也使得许多自然语言处理任务榜单上的成绩被大幅度的提高。原本难度较高的机器阅读理解任务也不例外,在部分数据集中,一些模型的性能甚至超过了人工的准确率。这一现象引来了许多学者的思考,机器阅读理解这一难题是否已被攻克?答案显然是否定的。学者们经过研究发现,有些阅读理解数据集的难度较低,因此模型仅通过浅层次的词汇相似度和答案类型这些信息,就可以从原文中筛选出大多数问题的正确答案。本文主要讨论更高难度的对抗性阅读理解任务,即通过在文章中增加具有误导性的干扰句,生成具有对抗性的阅读理解数据集,以此来更加全面地评价阅读理解模型对于文本的理解程度。另外,本文还提出了基于结点匹配的阅读理解模型来应对这种高难度的任务。本文的主要研究内容有以下三点:(1)基于Transformer的阅读理解对抗数据生成。针对现有阅读理解数据集难度低、答案容易找到的特点,提出了基于Transformer结构的干扰句生...

【文章页数】：63 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第1章 绪论
    1.1 课题背景及研究意义
    1.2 国内外研究现状
        1.2.1 早期的机器阅读理解
        1.2.2 机器阅读理解研究现状
        1.2.3 对抗机器阅读理解研究现状
    1.3 本文主要研究内容
    1.4 本文结构安排
第2章 基于Transformer的阅读理解对抗数据生成
    2.1 引言
    2.2 实验数据集
    2.3 现有的对抗性阅读理解数据集介绍
        2.3.1 基于文章扩充的方法简要介绍
        2.3.2 基于问句仿写的方法改进介绍
    2.4 基于Transformer结构的对抗阅读理解数据生成方法
        2.4.1 相关技术介绍
        2.4.2 模型整体结构
    2.5 实验结果与分析
        2.5.1 问句改写和虚假答案生成的实验结果
        2.5.2 基于Transformer结构的干扰句生成实验结果
    2.6 本章小结
第3章 基于语义角色的文章-问题对表示方法
    3.1 引言
    3.2 相关技术简要介绍
        3.2.1 语义角色标注简要介绍
        3.2.2 指代消解简要介绍
    3.3 基于语义角色标注的文章-问题对表示结构
        3.3.1 算法设计
        3.3.2 模型实现
    3.4 实验设置与结果分析
        3.4.1 基于双向长短时记忆网络的谓词识别模块的实验结果
        3.4.2 基于BERT模型的论元识别及分类模块的实验结果
        3.4.3 基于语义角色的文章-问题对表示实验结果
    3.5 本章小结
第4章 基于结点匹配的阅读理解方法
    4.1 引言
    4.2 启发式的训练数据结点配对方法
    4.3 基于学习的测试数据结点匹配方法
        4.3.1 测试过程中的结点匹配算法设计
        4.3.2 beam search窗口大小的设置
        4.3.3 结点匹配步长限制的设置
        4.3.4 结点向量表示生成方法
        4.3.5 结点对匹配度计算方法
        4.3.6 方案整体匹配度计算方法
    4.4 答案提取模块
    4.5 实验设置与结果分析
        4.5.1 参数设置和匹配度算法选择对比实验
        4.5.2 与主流阅读理解模型性能对比实验
    4.6 本章小结
结论
参考文献
攻读硕士学位期间发表的论文及其它成果
致谢



本文编号：3837216