基于表示学习的事件抽取方法研究

发布时间：2021-01-07 01:45

　　事件抽取任务旨在从给定的自然语言文本中抽取出指定类型的事件信息,并形成结构化表达,有助于自动文摘、自然语言生成等任务。由于在复杂的自然文本中获取事件语义信息困难,事件抽取是一个具有挑战的任务。本文主要从表示学习层面对事件抽取任务展开深入研究,主要研究内容包括以下三个方面:（1）目前,大多数事件触发词抽取方法专注于捕获序列中的长距离和局部信息,忽略了论元对触发词抽取的影响。针对这个问题,本文提出了一种基于论元序列表示的事件触发词抽取方法。首先,根据事件类型的分布概率筛选出候选论元,并利用基于注意力机制的循环神经网络能捕获序列中重要线索的特点,提取序列中对触发词抽取贡献最大的候选论元;其次,结合该候选论元和利用双向长短时记忆网络模型获得触发词的上下文表示来抽取触发词。在ACE2005上的实验结果表明,该方法降低了噪声实体对事件触发词抽取的干扰,取得了与目前最优触发词抽取系统相当的性能。（2）针对基于标注实体信息的事件触发词抽取方法缺乏实用性的问题,本文提出了一种基于混合神经网络、面向生语料的事件触发词抽取方法。首先,采用双向循环神经网络层对输入进行编码;其次,通过共享信息将获得的实体上下文... 

【文章来源】：苏州大学江苏省

【文章页数】：68 页

【学位级别】：硕士

【部分图文】：

图３－１?ＲＮＮ－ＡＲＧ模型用于事件触发词抽取任务，“ｄｉｅｄ”为候选触发词，ｔ；和ｂ、是??ＢｉＬＳＴＭ的输出，ｒ是经过注意力机制后的输出??

—?＋?」??Ｉ?？ＣＴ?ｓｌｉｍ????ＣＲＦ?ｌａｙｅｒ?????Ｉ?＾?ＧａｔｅｄＣＮＮ?￣??丨參鲁籲＞?籲籲籲１?——??“?｜??个?Ｍｅｒ?兌?ｅ???［ＭＡ?：???Ｊ????Ｍｕｌ－Ａｔｔ?Ｉ??Ｂｉ－ＬＳＴＭ??Ｚ?￣Ａ?ｌ???＾Ｃ＾ｃｏｎｃａＴ］＾???＾￣?＾?????ＣＮＮ?Ｐｏｏｌ??１?，?．?］?Ｔ＾??Ｃｈａｒ?－ｍｂｅｄ?ｌ、ｎ］ｂｅｄ??图４－１混合神经网络的事件触发词抽取结构图??４．２．１编码层??在编码层中，对于句中每个词，本文使用谷歌预训练的＼Ｖｏｒｄ２Ｖｅｃ对应词向量进??行初始化，作为事件抽取模块的输入。??ＢｉＬＳＴＭ编码层包括前向ＬＳＴＭ层，后向ＬＳＴＭ层，前者学习前向的序列信息，??后者则学习后向的序列信息。双向ＬＳＴＭ中的？个输入序列可以表示为ｘ?＝??．．．，ｘｎ｝，其中ｘｔｅ?是句子中第ｔ个词的ｄ维向量，ｎ是给定句子的长度。然??后，经过两个平行的ＬＳＴＭ层，分别从相反的方向对输入进行编码，捕获序列中的长??远依赖关系。对于每个词ｘｔ，前向ＬＳＴＭ层和后向ＬＳＴＭ层各自产生？个隐藏层的??２７??

ｆ°＇ｅ??广?？?？?＊Ａ?＝?：?．？＠？＠？？０：??ｉｕ?Ｓ?Ｕ?１?圔?ｆｔｌ?ｎ?Ｘ７１??＼?＜ｕｎｋ?＾?￣???？?ｔＴ?Ｌａｈｅｌｉｉｔｆ；??？?４＾ｑｑ〇ｑｑｑｑ?）??Ｉ?°＂?——Ｅｍｂｅｄ——？?Ｚ??Ｌ＊?，Ｗ，＊?，豐．．Ｉｆｆ—??卜?３??ｒ?２—（ｏｏｏｃｘｘｘ））??，ｒａ，ｗｗｗ?？?＇??＾－＾ｎｏｓｉｔｉｏｎａｌ?ｗｏｒｄ?＼??（ＯＯＱＱＱＯＯ）??Ｔｒｉｇｇｅｒ?Ｏａｓｓｉｆｉｃａｒｉｏｎ??图５－１实体和事件抽取的结构图??实体抽取模块；（３）事件触发词抽取模块；（４）事件论元抽取模块。在整个模型中有??两个部分的联合学习：（１）实体和事件抽取的联合学习；（２）触发词和论元抽取的联??合学习。前者通过共享双向长短时记忆神经网络层，在训练时，通过参数反向传播实??现两个任务的依赖，学习到实体和事件之间的丰富联系。后者通过共享图卷积网络层??来学习句法结构中节点上下文的表示向量，通过短弧将不同触发词和论元联系在一起，??缩短了信息传递路径，从而捕获触发词和论元之间的联系以及句子中不同事件触发词??之间的联系。??本文采用和第四章中一样的命名实体识别模型，即基于条件随机场的双向长短时??记忆神经网络模型。输入模块中，首先对句子中每个词的字符赋予一个长度固定但随??机初始化的向量，然后将每一个词对应的字符向量输入到卷积神经网络进行卷积和最??大池化操作后，获得每个词的字符表示向量。然后将词向量和字符表示向量串联在一??起送入到双向长短时记忆神经网络中，获得序列的隐层向量表示，馈送到实体抽取模??块中，通过线性条件随机场１４１１?（Ｃｈ


本文编号：2961648