基于深度学习的机器问答研究

发布时间：2021-02-10 12:26

　　机器问答是自然语言处理中最具有挑战的任务之一。该任务的技术挑战性和巨大的应用价值使其成为了当前的热点研究。本论文主要研究基于深度学习的机器问答,结合当前自然语言处理中的前沿神经网络模型,构建一套端到端的智能开放域问答系统。本论文提出的开放域问答系统以阅读理解为核心推理模块,论文中对机器阅读理解进行了全面细致的研究。我们分析了在多个自然语言处理任务中取得突破成果的BERT中存在的注意力偏差问题。我们提出了用于机器问答推理的创新模型ForceReader,它包含了注意力分离表征、多模式阅读理解、条件背景注意力和深度交互推理多个改进提升方案,在多个数据集上表现优秀。我们也对阅读理解在机器问答应用中存在的问题进行了探索,提出了多元信息交互和分类阅读联合学习的改进方案。受益于这些改进,推理模块能捕获更丰富的语言信息,并实现了端到端自动处理多文档问答的功能。在问答的推理模块得到有效提升的基础上,我们以维基百科知识和搜索引擎配合的方式作为问答系统的信息源,结合段落选择和阅读推理模型构建了一套智能开放域问答系统。我们在系统中添加了问答对库设计,采用深度语义匹配模型进行问题匹配,作为快速响应既有问题的方... 

【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校

【文章页数】：96 页

【学位级别】：硕士

【部分图文】：

对照实验组在SQuAD2.0开发集

电子科技大学硕士学位论文分别单独绘出了SQuAD2.0中没有答案和有答案的问题各自的EM和F1变化，如图3-8所示。(a)(b)(c)(d)图3-8SQuAD2.0开发集上有无答案问题类别实验表现(a)有答案问题的EM评测结果;(b)有答案问题的F1评测结果;(c)无答案问题的EM评测结果;(d)无答案问题的F1评测结果3.4.4结果分析在表3-7中我们报告了所有对照实验在两份SQuAD数据上的结果，我们分别给出了人类在两份数据上的表现，以及StanfordAttentiveReader、BiDAF、QANET和BERT-Large(Google)在SQuAD1.1开发集上的表现，但并未找到这些模型在SQuAD2.0上的准确报告。与Google给出的结果相比，我们复现的BERT-Large44

，采用了注意力分离编码的方式来对问题和段落进行各自的语义的编码。因此，针对这个方案，我们使用模型的分离编码部分对3.3.1中的例问进行了编码，并选择了其中的核心词，可视化了他们在整个问题序列上的注意力权重。我们的编码器部分有24层Transformer层，并且每层有16个注意力头，在句子进行多层抽象编码的过程中，有研究认为下层的编码会更偏句法语法结构特征，上次编码更偏整体抽象语义特征[64]。因此我们选择最后一层的注意力值，并为了可视化方便，我们将16个注意力头的注意力权重求均值用于表示最终的注意力分布。图3-9问题句子中核心词注意力可视化从图3-9中可以看出，我们对问题序列做了处理以适用于编码器输入，如小写转换、切词操作。特别地，我们在句子的头尾分别加上了[CLS]和[SEP]符号代表句子的开始和结尾，并用[CLS]的编码向量代表句子整体语义向量。我们选择了[CLS]、question、founder、microsoft四个词作为句子的核心词汇。从图3-9中可以看出经过分离编码后词的注意力非常符合语言认知。如question与a、who、founder的注意力权重较大，而与i、want等词注意力较校同样的founder与who、of、microsoft以及自身的注意力权重较大，与其他不相关的词注意力权重较小，这能直观的让模型学习到founderofmicrosoft的重要组合语义，对问题的理解有极大的帮助。对于问句的整体语义，[CLS]在句子中主要词汇上的注意力分46

【参考文献】：
期刊论文
[1]基于问答式语义检索系统中对用户提问处理研究![J]. 彭景海.  电子技术与软件工程. 2013(18)



本文编号：3027355