基于深度学习的机器阅读理解研究

发布时间：2021-12-02 03:15

　　自然语言理解能力是人类认知的关键能力和获取知识的前提,而让机器学会理解人类语言或文字也是人工智能领域的困难和挑战。机器阅读理解是自然语言处理领域的重要分支,也是问答系统的一个子方向,意义在于使机器理解文本语义并具备推理能力。机器阅读理解的主要流程是输入给定文本和对应的问题,理解上下文语义并推理输出匹配答案。相对于问答系统,不依赖于外部知识库系统,而是从小范围寻找语句之间的联系。传统的自然语言处理技术就是希望机器能够拥有像人一样捕捉到文本中的词义、词性、命名实体的基本能力,并且能对句法进行解析和指代进行消解。这些任务比较简单,不需要复杂的语义理解和推理,通过常用的机器学习或统计学习方法就能做得较好。进一步地,我们希望机器能够理解完整的文章或段落,联系上下文或额外的知识库进行分析和思考,并做出反馈。这要求在更复杂的场景中,抽取更高层次、更细粒度的文本特征。神经机器阅读理解就是当前机器阅读理解发展的一个新阶段,即使用神经网络模型相比传统的基于特征的分类器更适合识别词法匹配和释义。近年来性能较好的端到端深度学习模型成为主流模型,所有参数通过优化得到,不依赖任何下游语言特征,免除了构建大量人工特... 

【文章来源】：浙江大学浙江省 211工程院校 985工程院校 教育部直属院校

【文章页数】：79 页

【学位级别】：硕士

【部分图文】：

完形填空任务示例

浙江大学硕士学位论文2机器阅读理解典型任务2.2多项选择图2.2多项选择任务示例多项选择任务示意如图2.2所示，灵感同样来源于英语考试，可以衡量机器对自然语言理解的能力。示例中的RACE数据集[21]对每个问题提供了4个候选答案，我们需要根据给定的上下文从中选择一个正确的答案。相比于完形填空任务，多项选择任务不局限于一个词语或实体，所以答案的形式更加灵活，但不同的是这里必须给出若干个候选项。根据此可以给出多项选择任务的定义：给定上下文C、问题Q及若干回答的列表A={A1,A2,···,An}，要求模型学习函数F选择正确的回答Ai(Ai∈A)，即Ai=F(C,Q,A)。2.3片段抽取图2.3片段抽取任务示例虽然完形填空和多项选择可以在某种程度上测试机器的自然阅读理解能力，但仍然存在一些限制。因为词语和实体并不足以回答问题，还需要更完整的句子，此外真实的应用场景中往往没有可用的候选项，而片段抽取任务恰好克服了这两点。片段抽取任务示意如图2.3所示，给定上下文和问题，要求从原文中抽取一个连续的句子（或词组）作为问题的答案。如示例中的SQuAD数据集[12]，原文中的词组inherentdifficulty被抽取出来作为问题的答案。片段抽取任务最主要的特点是答案必须来自上下文8

浙江大学硕士学位论文2机器阅读理解典型任务2.2多项选择图2.2多项选择任务示例多项选择任务示意如图2.2所示，灵感同样来源于英语考试，可以衡量机器对自然语言理解的能力。示例中的RACE数据集[21]对每个问题提供了4个候选答案，我们需要根据给定的上下文从中选择一个正确的答案。相比于完形填空任务，多项选择任务不局限于一个词语或实体，所以答案的形式更加灵活，但不同的是这里必须给出若干个候选项。根据此可以给出多项选择任务的定义：给定上下文C、问题Q及若干回答的列表A={A1,A2,···,An}，要求模型学习函数F选择正确的回答Ai(Ai∈A)，即Ai=F(C,Q,A)。2.3片段抽取图2.3片段抽取任务示例虽然完形填空和多项选择可以在某种程度上测试机器的自然阅读理解能力，但仍然存在一些限制。因为词语和实体并不足以回答问题，还需要更完整的句子，此外真实的应用场景中往往没有可用的候选项，而片段抽取任务恰好克服了这两点。片段抽取任务示意如图2.3所示，给定上下文和问题，要求从原文中抽取一个连续的句子（或词组）作为问题的答案。如示例中的SQuAD数据集[12]，原文中的词组inherentdifficulty被抽取出来作为问题的答案。片段抽取任务最主要的特点是答案必须来自上下文8

【参考文献】：
期刊论文
[1]面向自然语言处理的深度学习研究[J]. 奚雪峰,周国栋.  自动化学报. 2016(10)



本文编号：3527615