基于阅读理解技术的问答系统设计与实现

发布时间：2020-05-31 07:48

【摘要】：面对互联网上海量的信息,人们越来越依靠搜索引擎获取信息。传统的搜索引擎检索返回与用户查询相关的网页,用户需要花费大量时间和精力从中获取所需信息。区别于传统的搜索引擎,检索式问答系统通过信息检索技术获取相关文档,利用问答算法从相关文档中抽取答案,其能够为用户提供简短和准确的结果。传统的检索式问答系统采用基于流水线方式的问答算法,该类问答算法只能捕捉输入信息中的浅层语义关联,且存在着优化成本高和优化难度大等问题。考虑到目前端到端的阅读理解模型训练简便、优化效果直观且能够捕捉输入信息的深层语义关联等优点,本文设计并实现了一个基于阅读理解技术的问答系统。对于本文设计并实现的问答系统,其包含Web服务模块、信息检索模块、中文预处理模块、答案预测模块和日志与存储模块五个模块。其中,答案预测模块的问答算法基于阅读理解模型实现。特别地,针对目前阅读理解模型难以满足检索式问答系统对问答算法计算效率的要求,且不能处理相关文档中答案数量不固定的情况,本文设计了一个面向检索式问答系统的阅读理解模型(Reading Comprehension model for Retrieval-based Question Answering System,RQA-RC)。RQA-RC模型由问题编码结构、文档编码结构、注意力机制和预测结构组成。考虑到检索式问答系统注重问答算法的计算效率和该问答场景中问答数据的特点,本文设计并结合了基于双向长短期记忆网络的问题编码结构和基于卷积神经网络的文档编码结构,使得模型在保持良好文本编码效果的前提下显著提升了计算效率。考虑到该问答场景中相关文档的答案数量不固定,本文设计了一个基于序列标注的预测结构并提出了一种参考Focal Loss思想的损失函数,使得模型能够有效地处理相关文档中任意数量的答案。实验结果表明,在面向检索式问答系统的问答任务中,RQA-RC模型相比现有的阅读理解模型,其在计算效率和F1值上具有明显的提升。通过系统测试,本文自主设计和实现的问答系统各功能模块均符合预期,系统非功能指标符合应用要求。
【图文】：

示意图,语义分析,向量,年代

同时，随着词库中词数量的增长，词向量将变得非常稀疏和巨大。不妨假逡逑设词库中一共存在Ｎ个词，那么？｛汽车，轿车，，苹果，河流，太阳丨五个词此时的逡逑ｏｎｅ－ｈｏｔ向量如图２－１所示。逡逑位置0邋兔１邋ｉ２邋ｉ３邋ｉ４邋ｉ５邋Ｎ逡逑词语邋厂逦逦逦逦逦Ｊ逡逑｜逦轿车逦Ｉ逦：逡逑：苹果逦￥逦丨逦ＣＬ．ＣＬ．０．．．１．．．０．．．０．．．０逦ｉ邋ｒ逡逑！河流【逦丨逦…ｉ逡逑？大阳逦：逦０逦０邋“邋？邋０４邋＊？邋０邋＊＊？邋０逦“邋０逦＿逡逑；ｖ逦数据逦」逡逑图２－】ｏｎｅ－ｈｏｔ向量示意图逡逑为解决该问题，从上个世纪９０年代开始，隐含语义分析（Ｌａｔｅｎｔ邋Ｓｅｍａｎｔｉｃ逡逑Ａｎａｌｙｓｉｓ，邋ＬＳＡ）［９］和主题模型（Ｌａｔｅｎｔ邋Ｄｉｒｉｃｈｌｅｔ邋Ａｌｌｏｃａｔｉｏｎ，ＬＤＡ）［Ｕ］相继被提出。这些逡逑模型通过生成稠密的实数向量作为词向量，这些低维稠密的词向量解决了邋ｏｎｅ－逡逑ｈｏｔ邋词向量中邋“词汇鸿沟”邋和维度爆炸等问题。邋２００３邋年，邋Ｂｅｎｇｉｏ邋利用神经网络训逡逑练词向量，并首次将神经网络的网络参数和词向量一起训练［１２１。２０１３年，Ｍｉｋｏｌｏｖ逡逑７逡逑

示意图,结构示意图,自然语言处理,北京邮电大学

北京邮电大学工学硕士学位论文出了一种词向量的计算方式ｗｏｒｄ２ｖｅｃ。其中，ｗｏｒｄ２ｖｅｃ较的效果使得词向量逐渐进入实用化阶段，以下将详细地介绍ｗｏｒｄ２ｖｅＣ被广泛地应用于自然语言处理任务中，例如智能问答、要（Ａｕｔｏｍａｔｉｃ邋Ｓｕｍｍａｒｉｚａｔｉｏｎ）等领域。ｗｏｒｄ２ｖｅｃ训练时依据邋ＣＢＯＷ（Ｃｏｎｔｉｎｕｏｕｓ邋Ｂａｇ－ｏｆ－Ｗｏｒｄｓ，邋Ｃ．ＢＯＷ）和邋Ｓｋｉｐ－ｇｉ＿ａｍ（Ｃｏｎｔｉｎｋｉｐ－ｇｒａｍ）两种模型。给定训练语料［ＷｐＷ＾ｗ；＾．．．，ｗＮ］，对于ｃ需要指定上下文窗口的大小Ｗｉｎｄｏｗ＿ｓｉｚｅ。假设Ｗｉｎｄｏｗ＿ｓｉｚｅ窗口内的词分别有ｗｔ＿２、Ｗｔｙ、ｗｔ＋１和ｗｔ＋２。基于如上信息，Ｃｍ的模型结构示意图如图２－２和图２－３所示。逡逑
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.1

【相似文献】