基于注意力机制的机器阅读理解技术研究

发布时间：2023-02-11 10:18

　　机器阅读理解任务是自然语言处理领域中的一个重要子任务,同时也是自动问答的一个极其重要的支撑技术。机器阅读理解的复杂性,使其被视为评价机器的自然语言理解能力的一个重要方面。随着网络时代迅速发展,大量的自由文本得以在网络上不断积累,如何利用海量的文本资源进行文本阅读,并能够完成更为直接的问答,也是一个具有现实应用价值的课题。得益于深度学习技术的发展以及更具挑战性且贴合实际需求的大型数据集的不断推出,机器阅读理解任务的热度和挑战性不断上升。由于机器阅读理解任务主要解决长篇章的推理回答,而注意力机制可以提供灵活并有效的信息交互与利用的方式,继而成为机器阅读理解任务中不可或缺的一个关键技术模块。因此,对基于注意力机制的机器阅读理解技术进行研究,具有重要的理论价值和广阔的应用前景。本文以机器阅读理解任务中的基于注意力的神经深度模型技术为主要研究对象,开展了各种注意力机制在不同模型架构中的选择应用、不同层次与粒度的注意力关注点、以及不同角度的注意力建模等多方面的研究。论文的主要研究工作如下:首先,对基本模型进行研究分析与探索。介绍了机器阅读理解的任务背景与定义,引入说明本课题中使用的相关技术。然后,...

【文章页数】：75 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第一章 绪论
    1.1 研究背景与意义
    1.2 相关研究历史与进展
    1.3 论文结构安排
第二章 机器阅读理解相关技术
    2.1 引言
    2.2 机器阅读理解任务介绍
        2.2.1 机器阅读理解任务定义
        2.2.2 机器阅读理解任务类型
        2.2.3 机器阅读理解任务评估方式
    2.3 机器阅读理解相关技术介绍
        2.3.1 文本词语表示
        2.3.2 神经网络模型
        2.3.3 注意力机制
    2.4 不同神经网络结构的阅读理解模型与注意力机制的运用
        2.4.1 基于双向注意力的LSTM模型
        2.4.2 基于自注意力的CNN模型
        2.4.3 实验结果与分析
        2.4.4 实验结论
    2.5 本章小结
第三章 基于层次融合注意力机制的机器阅读理解研究
    3.1 引言
    3.2 基于多层次信息注意力的机器阅读理解模型
        3.2.1 模型概述
        3.2.2 模型介绍
    3.3 实验及结果分析
        3.3.1 实验数据与评价指标
        3.3.2 实验设置
        3.3.3 模型结果
        3.3.4 模型消解实验结果与分析
        3.3.5 层次信息的融合实验结果与分析
        3.3.6 模型样本结果分析
        3.3.7 注意力可视化分析
    3.4 本章小结
第四章 基于位置注意力的机器阅读理解模型研究
    4.1 引言
    4.2 基于位置注意力的机器阅读理解模型
        4.2.1 模型概述
        4.2.2 模型结构
    4.3 实验结果与分析
        4.3.1 数据集与实验参数
        4.3.2 模型实验结果与分析
        4.3.3 不同位置信息引入方法的对比
        4.3.4 模型核函数分析
        4.3.5 位置信息的实验与分析
    4.4 本章小结
第五章 总结与展望
    5.1 研究工作总结
    5.2 研究展望
参考文献
致谢
攻读学位期间取得的学术成果



本文编号：3740196