基于深度文本匹配模型的智能问答系统问题相似度研究

发布时间：2021-08-10 12:31

　　在当今飞速发展的互联网时代,随着人们生活水平的不断提高,人们在信息检索、自动问答、对话系统等人工智能领域的需求越来越高,需要智能匹配算法来满足用户的多样化需求。为解决这一问题,自然语言处理技术应运而生,它能够为用户提供高效的信息检索服务和舒适的人机交互体验。文本匹配任务是自然语言处理技术中的核心问题,近年来随着深度学习和文本词向量技术的迅猛发展,基于深度神经网络的文本匹配逐渐成为一个新的研究方向。本文研究了文本匹配一些经典的深度学习模型,基于ESIM、DSSM、Decomposable Attention、Siamese Network四种模型,根据Blending模型融合方法并在Blending上最后添加一层逻辑回归,提出一种融合模型。主要工作包括:首先,研究了文本匹配相关技术,包括词向量技术、卷积神经网络、循环神经网络、双向循环神经网络以及模型融合技术。其次,分别介绍了四种模型的基本结构,并在此基础上,针对本文实际问题进行模型构造,对四种模型各个网络层进行详细阐述,对损失函数、优化算法等进行说明。解释本文所提出的模型的构造过程。最后,根据2018蚂蚁金服文本相似度比赛数据进行实验,... 

【文章来源】：上海师范大学上海市

【文章页数】：90 页

【学位级别】：硕士

【部分图文】：

本文模型框架

第2章文献综述和相关理论研究上海师范大学硕士学位论文16图2.1神经网络语言模型NNLM的最终目标是优化如下函数，见公式（2.3）：(2.3)公式（2.3）中，代表在某一个单词序列中出现的第t个单词，表示在某一个单词序列中，从第1个单词到第t个单词进行相关的排列，从而形成一个子序列。在语言模型中需要满足以下两种条件，来对计算结果和计算过程进行约束：(2.4)(2.5)如上图2.1所示，计算条件概率分布：(2.6)在上述公式中，使用矩阵来表示矩阵中的映射关系，可使用神经网络将语言模型中每一个词都转化为对应的词向量，这样就有利于对词向量进行分析。利用

第2章文献综述和相关理论研究上海师范大学硕士学位论文18络类型的语言模型有较高的相似之处。嵌入式词向量模型的工作原理也是将单词转化为相关的词向量进行计算，同时该模型的核心计算方法和步骤也是利用神经网络模型进行计算。计算完成后，将所有的单词数据存入相关的数据库同时也可以将数据库嵌入到一个空间之中。该模型可以保证每个单词在嵌入的空间中都能表达出自己的意义，两个单词之间的距离也可以用来表示两个单词之间是否存在对应关系。与神经网络模型相比，嵌入式模型具有更高的优越性，这是因为两个词之间的空间距离可以用来进一步衡量两个词之间的关系。嵌入式词向量模型由于可以有不同的输入和输出，到整个模型可以分为以下两个种类，分别是跳字模型（Skip-gram）和连续词袋（CBOW）模型。跳字模型可以通过对某个单词结合上下文的信息进行分析。使用作为目标函数；而CBOW模型工作原理与上一模型恰好相反，前者的工作原理主要利用上下文的单词含义，来进一步分析在上下文之间各个单词代表的含义。使用作为目标函数。图2.2CBOW模型图


本文编号：3334068