基于mGRU算法在抽取式阅读理解中的研究

发布时间：2021-12-11 22:12

　　随着循环神经网络的出现,自然语言处理的任务命名实体识别、自动问答、机器翻译、文本蕴含识别等都取得了不错的效果。文本蕴含识别和阅读理解属于自然语言理解范畴,阅读理解作为自然语言处理任务中最难的一个任务之一,可以应用在自动问答和智能搜索上。随着阅读理解语料SQuAD和TriviaQA web的出现,使得阅读理解在神经网络中的研究成为了可能。LSTM作为文本提取特征的首选模型,推动了自然语言任务的发展。随着注意力机制的出现,LSTM结合注意力机制可以进一步分析长文本之间的关系,注意力机制也是自然语言任务中很重要的方法。针对文本蕴含识别任务,重点关注的是每个文本中的子事件是否匹配。本文对逐词匹配注意力模型和mLSTM模型进行研究,指出两种模型存在的不足。对当前最优的mLSTM模型进行改进提出一种基于GRU的相邻词信息和逐词匹配模型mGRU。mGRU的主要思想是一个文本或句子设为前提,另一个文本或句子设为假设,先对前提编码,再对假设编码,在对假设编码的同时引入前提的所有单词的注意力,受n-gram思想的启发用假设的相邻词隐藏状态信息和与前提逐词匹配,在斯坦福文本蕴含识别SNLI语料上取得了很好的... 

【文章来源】：北京工业大学北京市 211工程院校

【文章页数】：74 页

【学位级别】：硕士

【部分图文】：

RNN流程图

图 2-3 RNN 模型结构Figure2-3 RNN model structure解决 RNN 造成的梯度消失问题而产生的，与 RN变，引入三个门控增加隐藏结构的复杂程度避免梯记录新的更新和遗忘。LSTM 结构如图 2-4 所示：图 2-4 LSTM 模型结构Figure2-4 LSTM model structureRU要比 RNN 复杂的多，从图 2-5 中可以看出在每个

图 2-4 LSTM 模型结构Figure2-4 LSTM model structureU比 RNN 复杂的多，从图 2-5 中可以看出在每个和 RNN 一样的隐藏状态 ，还多了另一个隐示。这个隐藏状态一般称为细胞状态，记为 有三个门控结构：遗忘门、输入门、输出门[25]。门控和细胞状态。图 2-5 细胞状态图Figure2-5 Cell status diagram( t)h( tC

【参考文献】：
期刊论文
[1]基于PageRank算法的文本关键词权重计算研究[J]. 王庆福.  网络新媒体技术. 2015(03)
[2]多特征文本蕴涵识别研究[J]. 赵红燕,刘鹏,李茹,王智强.  中文信息学报. 2014(02)
[3]改进的TF-IDF模型在特征抽取中的应用[J]. 李运田,吴琼,郑献卫.  工业控制计算机. 2014(02)
[4]一种基于改进TF-IDF函数的文本分类方法[J]. 卢中宁,张保威.  河南师范大学学报(自然科学版). 2012(06)
[5]针对特定主题的短文本向量化[J]. 田瑞,闫丹凤.  软件. 2012(11)
[6]文本蕴涵的推理模型与识别模型[J]. 袁毓林,王明华.  中文信息学报. 2010(02)
[7]文本线性分割方法的研究[J]. 刘娜,唐焕玲,鲁明羽.  计算机工程与应用. 2008(21)

硕士论文
[1]基于深度神经网络的文本蕴含识别及应用研究[D]. 王宝鑫.哈尔滨工业大学 2016
[2]基于LSTM的英文文本蕴含识别方法研究[D]. 刘阳.哈尔滨工业大学 2016



本文编号：3535493