机器阅读理解中的多任务学习算法研究

发布时间：2021-04-24 11:04

　　机器阅读理解在自然语言处理领域中是一个很重要的研究方向,对于实现人机交互是一个极为关键的技术。而机器阅读理解由于其复杂性,一直都是评价机器自然语言理解的一个重要方面。同时由于时代的快速发展,各种文本信息不断积累,如何能利用这些文本资源,从而使问答过程更加符合实际,也是一个具有现实应用价值的课题。在实际的问答系统中,要做到全领域的问答,需要涉及到大量的知识信息,而要收集这些知识信息更是需要长年累月的积累,机器阅读理解和人类阅读理解面临的问题都是相似的,但是现实中为了降低任务难度,目前研究的很多机器阅读理解数据集都有一定的局限性,数据样本都比较少。在目标领域没有足够的训练数据的情况下,如何利用域外的数据来增强模型效果,即采用多任务学习的方法来增强主要任务的模型表现性能十分关键。因此机器阅读理解中的多任务学习方法的研究十分重要。近些年来,伴随着深度学习的发展,机器阅读理解技术不断迎来新的突破。本文研究了片段抽取型机器阅读理解任务中难点,并提出使用机器阅读理解模型和多任务学习结合的方法来解决这个问题。本文的主要工作与贡献包括:第一,在泛领域的机器阅读理解的任务中,提出基于经典的机器阅读理解模型... 

【文章来源】：华中师范大学湖北省 211工程院校 教育部直属院校

【文章页数】：62 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第一章 绪论
    1.1 研究背景和意义
    1.2 国内外研究现状
    1.3 本文的主要研究工作
    1.4 论文的组织结构
第二章 相关理论和技术
    2.1 机器阅读理解简介
    2.2 文本表示
    2.3 神经网络和深度学习
        2.3.1 卷积神经网络
        2.3.2 循环神经网络和长短时记忆网络
        2.3.3 注意力机制
    2.4 预训练
    2.5 多任务学习
    2.6 本章小结
第三章 基于BIDAF的多任务学习模型
    3.1 引言
    3.2 问题描述
    3.3 模型设计
        3.3.1 模型结构
        3.3.2 表征编码层
        3.3.3 注意力流层
        3.3.4 建模层和输出层
    3.4 实验环境和配置
        3.4.1 数据准备
        3.4.2 参数设置
        3.4.3 实验设置
    3.5 实验结果和分析
        3.5.1 目标任务为SQuAD数据集上的结果分析
        3.5.2 目标任务为NewsQA数据集上的结果分析
        3.5.3 优化混合比
    3.6 本章总结
第四章 基于预训练的多任务学习模型
    4.1 引言
    4.2 问题描述
    4.3 模型设计
        4.3.1 模型结构
        4.3.2 模型输入层
        4.3.3 模型层
        4.3.4 输出层
    4.4 实验环境和配置
        4.4.1 数据准备
        4.4.2 参数设置
        4.4.3 实验设置
    4.5 实验结果和分析
        4.5.1 不同任务下的多任务学习
        4.5.2 不同的混合参数比
    4.6 本章总结
第五章 总结和展望
    5.1 工作总结
    5.2 研究展望
参考文献
在校期间发表的论文、科研成果等
致谢


【参考文献】：
期刊论文
[1]面向机器阅读理解的候选句抽取算法[J]. 郭鑫,张庚,陈千,王素格.  计算机科学. 2020(05)



本文编号：3157249