基于深度学习神经网络的机器阅读理解的研究

发布时间：2022-12-25 09:01

　　机器阅读理解是自然语言处理领域最为重要的一个方向,这也催生了一大批用于做机器阅读理解任务的神经网络模型。尽管如此,多数模型使用的仍是基于LSTM或是GRU的结构,此种结构虽然效果不错,但由于RNN的性质,导致这种结构较为耗时,且多数模型在注意力机制的应用上是一种粗粒度的,这对机器回答问题的结果会有一定的影响。因此,文中提出了一个新的细粒度的模型结构,该结构采用了在速度上能够与CNN媲美的SRU作为网络的主要结构,并使用了细粒度的注意力机制对文章及问题的表示进行对齐操作,能够较好的结合文章及问题的信息并对答案进行推断。此外,文中还使用了一个新的网络架构,称之为doubled SRU,该结构是一个两层的SRU变种,其中第二层的SRU使用了上下文的表征计算当前的隐状态。在输入层之后,文中的网络结构设计了多种对齐结构,包括文章问题对齐层、问题文章对齐层以及自对齐层等,这些对齐结构都是根据注意力机制的思想设计而成。本文在斯坦福的问答数据集上进行了实验,最终在SQuAD 1.1版本的数据集上,文中使用的模型结构在交叉验证集上取得了 85.1的F1分数,而在后期的升级版数据集SQuAD 2.0上,文... 

【文章页数】：49 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第1章 引言
    1.1 研究背景和意义
    1.2 国内外研究现状
        1.2.1 词嵌入研究现状
        1.2.2 循环神经网络研究现状
        1.2.3 Attention机制研究现状
        1.2.4 机器阅读理解研究现状
    1.3 本文主要研究内容
    1.4 本文组织结构
第2章 相关理论简介
    2.1 词向量及其表示
    2.2 Attention Mechanism
        2.2.1 Encoder-Decoder框架
        2.2.2 Attention机制
    2.3 Doubled Simple Recurrent Units
    2.4 Pointer Networks
    2.5 本章小结
第3章 机器阅读理解的算法实现
    3.1 数据集介绍及其预处理
    3.2 模型架构
    3.3 模型算法
        3.3.1 Question and Passage Encoding Layer
        3.3.2 Iterative Aligner Layer
        3.3.3 Output Layer
        3.3.4 Loss Function
        3.3.5 Optimizer
    3.4 本章小结
第4章 实验与分析
    4.1 实验环境
    4.2 实验数据
    4.3 实验指标
    4.4 实验结果及其分析
    4.5 本章小结
第5章 结论与展望
    5.1 结论
    5.2 进一步工作的方向
致谢
参考文献



本文编号：3726319