基于序列标注模型的事件抽取算法研究
发布时间：2021-06-30 08:52
事件抽取是信息抽取领域重要的任务之一,其主要任务是从非结构化信息中抽取出结构化的事件信息。目前随着互联网的快速发展,互联网文本数据也呈现井喷式发展,因此抽取结构化事件信息有着极其重要的意义。事件抽取任务分为两个子任务:事件类型检测和事件论元抽取。传统方法将它们作为分类任务,主要分为串联和联合两种方式,依赖人工特征或深度学习来完成任务。本研究课题基于深度学习算法,以串联模型的方式,首次将两个子任务转换为两个序列标注任务,主要研究内容和研究成果如下:1)在事件类型检测任务中,提出一种基于先验知识和自注意力机制的序列标注模型。利用触发词先验知识来控制端到端模型的学习过程,提高模型的可解释性。先验知识帮助模型降低非触发词带来的噪声,增加候选触发词的权重。利用自注意力机制充分学习句子内部词语之间的相互依赖关系,解决串联模型事件触发词识别过程中不能充分利用事件论元信息的问题,进而提高了事件类型检测的准确性。2)在事件论元抽取任务中,设计一种基于自注意力机制的序列标注模型,根据已经检测出的事件触发词及对应的触发词信息,利用自注意力机制充分学习事件论元与触发词之间的关联程度,有效完成事件论元抽取任务。...
【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校
【文章页数】：69 页
【学位级别】：硕士
【部分图文】：
图２－１全局注意力机制??（５）局部注意力机制??
就使得当远离窗口中心的时候，单词权重就会衰减，也就是更加重视ｐｔ附近的??隐藏层输出。除此之外，与全局注意力机制不同的是，因为只考虑窗口内的信息，??所以七的大小是固定的且等于２Ｄ＋１。图２－２是局部注意力机制的结构图：??ｙｔ??１??Ｉ?上下文向量?ｉ??Ｉ?全局权重?？苗??Ｔ?Ｔ?Ｔ?Ｔ?Ｔ?Ｔ?Ｔ??源端?目标端??图２－２局部注意力机制??２．１．２自注意力机制??循环神经网络编码器的输入是长度为Ｔ的序列（Ｘｌ，?．．．，Ｘｒ），通常经过循环神??经网络之后映射为对应的隐藏层状态序列，／１７〇。自注意力机制的目标与编??１１??
??图３－１中展示了事件类型检测的序列标注的抽取结果。事件检测系统的输入??是一个单独的句子，经过序列标注之后，系统输出结果是：｛触发词：ｄｉｅｄ（去世），??事件类型：Ｄｉｅ?（死亡）｝，这里表示触发词“去世”触发的事件类型是“Ｍｅｅｔ?（死??亡）”。??３．３基于先验知识和自注意力机制的事件类型检测模型??本节将详细介绍本研究课题提出序列标注模型，由于本研究课题对事件抽取??的两个子任务事件类型检测和事件论元抽取采用的是串联的方式进行解决的，两??个子任务的序列标注模型结构相似，都是基于自注意力机制的。为了减缓串联方??式中的误差积累，模型设计时针对事件类型检测的模型相对更为复杂一些，所以??本节主要详细介绍事件类型检测的模型结构，在第四章中则基于本节介绍的模型，??补充介绍用于事件论元抽取的模型的不同。??（??ｔ??Ｓｏｆｔｍａｘ??■＿?—??；??；?？层归一化?＞??；?會?！??（?自注意力子层?］?！??！?｜?Ｎ－１?层??ｉ?——：??；??＞１?层归一化??：?——」?——?：??；??非线
【参考文献】：
期刊论文
[1]A language-independent neural network for event detection[J]. Xiaocheng FENG,Bing QIN,Ting LIU. Science China（Information Sciences）. 2018(09)
本文编号：3257440
【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校
【文章页数】：69 页
【学位级别】：硕士
【部分图文】：
图２－１全局注意力机制??（５）局部注意力机制??
就使得当远离窗口中心的时候，单词权重就会衰减，也就是更加重视ｐｔ附近的??隐藏层输出。除此之外，与全局注意力机制不同的是，因为只考虑窗口内的信息，??所以七的大小是固定的且等于２Ｄ＋１。图２－２是局部注意力机制的结构图：??ｙｔ??１??Ｉ?上下文向量?ｉ??Ｉ?全局权重?？苗??Ｔ?Ｔ?Ｔ?Ｔ?Ｔ?Ｔ?Ｔ??源端?目标端??图２－２局部注意力机制??２．１．２自注意力机制??循环神经网络编码器的输入是长度为Ｔ的序列（Ｘｌ，?．．．，Ｘｒ），通常经过循环神??经网络之后映射为对应的隐藏层状态序列，／１７〇。自注意力机制的目标与编??１１??
??图３－１中展示了事件类型检测的序列标注的抽取结果。事件检测系统的输入??是一个单独的句子，经过序列标注之后，系统输出结果是：｛触发词：ｄｉｅｄ（去世），??事件类型：Ｄｉｅ?（死亡）｝，这里表示触发词“去世”触发的事件类型是“Ｍｅｅｔ?（死??亡）”。??３．３基于先验知识和自注意力机制的事件类型检测模型??本节将详细介绍本研究课题提出序列标注模型，由于本研究课题对事件抽取??的两个子任务事件类型检测和事件论元抽取采用的是串联的方式进行解决的，两??个子任务的序列标注模型结构相似，都是基于自注意力机制的。为了减缓串联方??式中的误差积累，模型设计时针对事件类型检测的模型相对更为复杂一些，所以??本节主要详细介绍事件类型检测的模型结构，在第四章中则基于本节介绍的模型，??补充介绍用于事件论元抽取的模型的不同。??（??ｔ??Ｓｏｆｔｍａｘ??■＿?—??；??；?？层归一化?＞??；?會?！??（?自注意力子层?］?！??！?｜?Ｎ－１?层??ｉ?——：??；??＞１?层归一化??：?——」?——?：??；??非线
【参考文献】：
期刊论文
[1]A language-independent neural network for event detection[J]. Xiaocheng FENG,Bing QIN,Ting LIU. Science China（Information Sciences）. 2018(09)
本文编号：3257440
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3257440.html
