基于多任务学习的密集注意力网络在机器阅读上的应用

发布时间：2024-01-14 10:50

　　机器阅读是自然语言处理领域核心任务之一,其旨在教会机器理解给定的文章回答相关问题。带有不可回答问题的机器阅读任务,除了需要从文章中提取答案外还需判断问题是否可回答,这需要模型对文本有更深层次的语义理解。目前流行的处理带有不可回答问题机器阅读任务的模型多为“流水线”式模型,将答案预测分为两步来作,首先提取答案然后验证答案是否正确,无法实现端到端的答案预测。本文提出一种基于多任务学习的密集连接多层注意力模型,一步到位的实现答案抽取与判定。密集连接编码层使得模型可以变得更深从而提取不同层次的语义信息,多层注意力机制让模型可以在不同粒度融合问题和文章信息,使得模型答案定位与判定更佳准确。模型设计时将答案预测与答案判定模型紧密结合,通过多任务学习的方式训练,使得模型具有更强的泛化能力。另外,本文针对不可回答问题的机器阅读,提出一种新的数据增强方法,实验证明新的数据增强方法简单有效。本文提出的模型在SQuAD 2.0验证数据集上取得F1 76.8%的结果。

【文章页数】：62 页

【学位级别】：硕士

本文编号：3878089