基于注意力机制的自动问答技术研究

发布时间：2021-07-18 18:57

　　如今是信息技术蓬勃发展的时代,人们通过互联网可即时浏览所关注的信息。随着科技的飞速发展以及互联网的繁荣,现在每天在互联网上所产生的数据量是以前传统文本时代所远不能及的。丰富的信息资源虽然可以满足人民对于知识的渴求,但是如何快速筛选获取有价值的信息也成为当前面临的难题。自动问答系统能够挖掘句子中潜在语义信息快速的匹配问题和候选答案之间的联系,快速且准确的查找到最佳答案,满足用户想要精确定位答案的需求。本课题研究自动问答系统中的答案选择技术,本任务的具体流程如下:给定问题和多个候选答案,通过深度神经网络学习的方式从候选答案集中找出与问题最相关的答案。本任务的关键技术为计算问题与候选答案之间的相似程度。深度神经网络无需人工提取特征、语言工具或外部知识等辅助手段,使用网络自身提取语义关系。本文采用深度神经网络用以研究答案选择技术。本论文所采用的的基本模型为:基于注意力机制的单层BiLSTM网络模型。在此模型的基础上,本文从注意力机制和使用多层网络提取特征两个角度分别进行了改进。首先,对于注意力机制,本文提出了一种双向的注意力机制在问题和答案之间分步进行共现特征以突出问题与答案中的重要部分。其次... 

【文章来源】：北方工业大学北京市

【文章页数】：66 页

【学位级别】：硕士

【部分图文】：

神经元结构

第二章相关基础理论知识研究7图2-2Relu函数神经元完整的操作过程就是获得输入数据后，跟初始化的参数权重经过加权求和后输入到节点中，在节点内经过激活函数进行非线性变换，最后经过输出层输出。神经网络的训练过程其实就是通过将权重的值调整使得损失函数的值达到阈值，从而使得网络的预测效果达到最优。前馈神经网络作为最基础的深度学习模型值得我们深入了解。前馈神经网络分为三个组成部分。如图2-3所示，前馈神经网络一般由输入层（inputlayer）、隐藏层(hiddenlayer)和输出层(outputlayer)三部分组成。从输入层开始，每一层都有若干个神经节点，同一层的神经节点互相之间没有联系，上一层的输入经过计算后的输出作为下一层的输入，直到传递到输出层为止。图2-3前馈神经网络结构图

第二章相关基础理论知识研究7图2-2Relu函数神经元完整的操作过程就是获得输入数据后，跟初始化的参数权重经过加权求和后输入到节点中，在节点内经过激活函数进行非线性变换，最后经过输出层输出。神经网络的训练过程其实就是通过将权重的值调整使得损失函数的值达到阈值，从而使得网络的预测效果达到最优。前馈神经网络作为最基础的深度学习模型值得我们深入了解。前馈神经网络分为三个组成部分。如图2-3所示，前馈神经网络一般由输入层（inputlayer）、隐藏层(hiddenlayer)和输出层(outputlayer)三部分组成。从输入层开始，每一层都有若干个神经节点，同一层的神经节点互相之间没有联系，上一层的输入经过计算后的输出作为下一层的输入，直到传递到输出层为止。图2-3前馈神经网络结构图

【参考文献】：
期刊论文
[1]知识表示学习研究进展[J]. 刘知远,孙茂松,林衍凯,谢若冰.  计算机研究与发展. 2016(02)

硕士论文
[1]基于浅层语义分析的文本摘要方法研究与实现[D]. 李宝程.电子科技大学 2016
[2]自动问答系统的研究与应用[D]. 王肖磊.北京邮电大学 2015



本文编号：3290168