基于神经网络的事件时序关系识别方法研究

发布时间：2021-09-19 10:18

　　事件时序关系识别是对具有时序关联的事件对进行识别,并对它们之间的时序关系进行分类的一项任务。它对任何试图深入理解自然语言的系统来说都至关重要,如自动问答、信息抽取、文本摘要等。早期的事件时序关系识别研究通常专注于提取各种语言学特征,这些研究工作严重依赖人工标注的特征和外部知识库,而对形式上更加灵活且更具泛化能力的神经网络的应用却相对较少。本文工作聚焦于神经网络方法在事件时序关系识别任务上的应用,研究内容如下:（1）基于深度双向长短期记忆网络的事件时序关系识别方法与传统的基于特征工程的统计机器学习方法相比,神经网络方法在事件时序关系识别上显现出明显的优势。但是,现有的神经网络架构往往较为浅显（如单层循环神经网络或卷积神经网络）,导致它们可能无法在不同的抽象层次上探索潜在的语义表示空间。针对这一问题,本文提出使用深度双向长短期记忆网络进行事件时序关系识别。该方法将多层网络中的所有前置层输出进行拼接作为后续层的输入,从而使其中的信息充分流动。实验结果表明该方法能有效提升事件时序关系的识别性能。（2）结合自注意力和神经网络的事件时序关系识别方法对于传统的循环神经网络或卷积神经网络而言,处理结构... 

【文章来源】：苏州大学江苏省 211工程院校

【文章页数】：70 页

【学位级别】：硕士

【部分图文】：

图２－１事件研究的三个层次??

象表示：在自然语??言处理领域中，卷积神经Ｎ络模型最早应用子文本分类任务上，取得了十分出色的效??果。在大量的自然文本中，有用的信息特征通常处于文本的局部位置，且一个信息实??体往往由连续的字（词）组成，因此具备局部连续的特点。??基础的卷枳神经Ｎ络迪常由卷积层（Ｃｏｎｖｏｌｕｔｉｏｎ?Ｌａｙｅｒ）和池化Ｓ?（Ｐｏｏｌｉｎｇ?Ｌａｙｅｒ）??两部分组成。其中卷积层的作用是提取各种特征，池化层的作用是对原始的特征信号??进行抽象，从而大幅度减少训练参数，并且还可以缓解模型的过拟合问题。图２－５展??示了?？种简单的卷积神经Ｍ络模型框架。??，???／＿？ｎ?、、门、??Ｉ?Ｉ?Ｉ?Ｉ?／?一一一?—??］／????／????：?／?—?——??？??ＣＬｚ??１?１?１?１?１?Ｌ＿??Ｉ?｜?ｉ?ｉ?ｉ?ｉ?ｉ?ｉ??向量表示?卷积层?池化层分类层??图２－５?—个简单的卷积神经网络模型框架??１５??

络适用于对句法依存树进行编码，从词的层面去刻画句子的语法信息，来产生??句子中单词的潜在特征表示。??（３）注意力机制??注意力机制（Ａｔｔｅｎｔｉｏｎ）最近在各个领域被广泛使用，无论是图像处理、语音识??别还是自然语言处理各种不同类型的任务中。从本质上讲注意力机制借鉴了人类的选??择性视觉注意力机制，其目的也是从众多信息中选择出对当前任务更有用的信息。在??自然语言处理领域中，注意力函数的本质可以被描述为一个查询（ｑｕｅｒｙ）到一系列键??（ｋｅｙ）—值（ｖａｌｕｅ）对的映射，如图２－６所不。??Ｋｅｙｌ?Ｋｅｙ２?Ｋ．ｅｙ３?Ｋｅｙ４?！??，?Ａｔｔｅｎｔｉｏｎ??Ｑｕｅｒｙ?－｛?＾?Ｖａｌｕｅ????｜??＾＾＾??｜????ｉｎｎｎｎｉ??Ｖａｌｕｅｌ?Ｖａｌｕｅ２?Ｖａｌｕｅ３?Ｖａｌｕｅ４?Ｉ??Ｓｏｕｒｃｅ??ｉ?１??图２－６注意力函数计算??对注意力值（Ａｔｔｅｎｔｉｏｎ?Ｖａｌｕｅ）的计算主要分为三个步骤：首先将ｑｕｅｒｙ和每个??ｋｅｙ进行相似度计算得到权重，常用的相似度计算函数有点积、拼接、感知机等；接??着使用Ｓｏｆｔｍａｘ函数对上一步得到的权重进行归一化；最后将权重和相应的键值ｖａｌｕｅ??进行加权求和（Ｗｅｉｇｈｔｅｄ?Ｓｕｍ）得到最后的注意力值。在自然语言处理任务中，ｋｅｙ与??ｖａｌｕｅ通常都是相同的。整个计算过程可以表示为：??１６??

【参考文献】：
期刊论文
[1]事件因果与时序关系识别的联合推理模型[J]. 黄一龙,李培峰,朱巧明.  计算机科学. 2018(06)
[2]基于全局优化的中文事件时序关系推理方法[J]. 郑新,李培峰,朱巧明.  中文信息学报. 2016(05)
[3]中文事件时序关系的标注和分类方法[J]. 郑新,李培峰,朱巧明.  计算机科学. 2015(07)
[4]基于最大熵的句内时间关系识别[J]. 王风娥,谭红叶,钱揖丽.  计算机工程. 2012(04)
[5]中文事件抽取技术研究[J]. 赵妍妍,秦兵,车万翔,刘挺.  中文信息学报. 2008(01)

博士论文
[1]面向事件的知识处理研究[D]. 付剑锋.上海大学 2010



本文编号：3401431