基于深度学习的机器阅读理解算法研究

发布时间：2022-02-19 00:57

　　机器阅读理解作为自然语言处理问答方向的一个新的研究领域,已经成为学术界和产业界的关注热点。它的研究目标是让机器能够阅读并且正确的理解自然语言文本,然后回答给定的问题。机器阅读理解任务的研究具有重要的意义和价值:一方面,阅读理解任务可以用来评估计算机理解自然语言的程度,阅读理解能够促进自然语言理解技术的发展;另一方面,机器阅读理解是未来问答系统发展所需的关键技术之一。得益于计算机计算能力和存储能力的显著提高,以及深度学习方法本身所具有的强大的文本特征提取能力,基于端到端的机器阅读理解模型研究近年来取得了巨大的进步。机器阅读理解任务需要充分理解文本和问题的语义信息,通常采用分层的网络模型架构,从而在不同的文本特征层面提取信息。机器阅读理解模型架构通常由表示层、编码层、交互层、输出层组成,而表示层和交互层是模型最重要的组成部分。本文对现有的机器阅读理解模型的表示层和交互层进行改进,以提高模型的准确率和训练效率。主要研究工作如下:（1）研究并复现了机器阅读理解任务上具有代表性的R-NET模型,将其作为后续改进模型的基准。实验结果表明,本文复现的模型能达到论文中的模型效果。（2）在模型的表示层,... 

【文章来源】：电子科技大学四川省211工程院校985工程院校教育部直属院校

【文章页数】：76 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
第一章 绪论
    1.1 课题背景及意义
    1.2 研究现状
        1.2.1 传统的方法
        1.2.2 基于深度学习的方法
    1.3 本文的研究内容与创新点
    1.4 本文的组织结构
    1.5 本章小结
第二章 深度学习与机器阅读理解相关理论
    2.1 神经网络基础知识
        2.1.1 人工神经网络
        2.1.2 卷积神经网络
        2.1.3 循环神经网络
    2.2 语言模型与词向量
        2.2.1 神经网络语言模型
        2.2.2 基于分布式假设的词嵌入学习
    2.3 机器阅读理解模型通用架构
    2.4 其他网络变体
    2.5 本章小结
第三章 基于词向量融合的阅读理解算法研究
    3.1 基线R-Net模型介绍
    3.2 词向量表示与上下文编码的改进方法
        3.2.1 预训练的语言模型
        3.2.2 FastText词向量
        3.2.3 改进后的表示层结构
    3.3 本章小结
第四章 基于注意力机制和聚合机制的阅读理解算法研究
    4.1 注意力机制
        4.1.1 双向注意力模型
        4.1.2 自注意力模型
    4.2 聚合机制
    4.3 基于注意力与聚合机制的融合方法
    4.4 改进后的模型架构
    4.5 本章小结
第五章 实验结果及分析
    5.1 实验数据集与评价指标
        5.1.1 数据集
        5.1.2 评价指标
    5.2 实验设置
        5.2.1 数据预处理
        5.2.2 实验硬件环境
        5.2.3 参数设置
        5.2.4 模型优化
        5.2.5 防止过拟合
    5.3 实验结果及分析
        5.3.1 基于词向量融合的实验结果与分析
        5.3.2 基于注意力机制与聚合机制的实验结果与分析
    5.4 本章小结
第六章 总结与展望
    6.1 总结
    6.2 未来展望
致谢
参考文献
攻读硕士期间的研究成果



本文编号：3631883