深度循环神经网络在特定场景自动问答中的应用研究

发布时间：2021-08-25 03:11

　　利用深度学习解决自然语言处理任务已成为当下主流。深度学习的本质是利用计算机构建神经网络,去模拟一个通用的、具有良好泛化性能的黑盒函数达到识别与预测的目的。研究表明,深度循环神经网络所构建的系统在针对时序特性的数据处理上具有良好的表现,例如基于循环神经网络的序列到序列（sequence to sequence,seq2seq）技术在开放场景自动问答的应用。然而,seq2seq技术不足以应对特定场景下较为专业的用户需求。首先,经典的循环神经网络单元在输入与输出的层级连接中忽略了某些状态变化从而丢失了一些信息,导致对文本的解析不全面。其次,在特定场景下,利用seq2seq生成的回答中有很多是无意义的回答。针对上述问题,本文以构建一个在特定场景下能充分理解用户提问、生成有意义回答的自动问答模型为研究目标,将该目标分为递进的两个子任务,分别是文本标注和基于文本标注的自动问答模型,并给出相应的解决方案。本文的主要研究工作如下:（1）网状长短时记忆单元结构研究。针对经典深度循环神经网络单元结构的不足,提出一种改进的循环神经网络单元结构。常用的循环网络单元结构如长短时记忆单元（Long Short-T... 

【文章来源】：武汉理工大学湖北省 211工程院校 教育部直属院校

【文章页数】：81 页

【学位级别】：硕士

【部分图文】：

二维GLSTM结构图

图 2-13 训练后词嵌入分布图 图 2-14 单词的相似度关系在对基于循环神经网络的文本标注模型实验过程中，以单向 LSTM 为例，利用TensorFlow的可视化工具TensorBorad可以描绘训练过程中目标损失函数L的下降过程，如图 2-15 所示。

图 2-13 训练后词嵌入分布图 图 2-14 单词的相似度关系在对基于循环神经网络的文本标注模型实验过程中，以单向 LSTM 为例，利用TensorFlow的可视化工具TensorBorad可以描绘训练过程中目标损失函数L的下降过程，如图 2-15 所示。


本文编号：3361271