特定领域事理图谱的构建方法研究
发布时间：2022-01-02 00:38
事理图谱本质上是一个事理逻辑知识库,描述了事件之间的演化规律与模式。在事件预测、常识推理、商业推荐等领域具有重要的应用价值。事理图谱定义为一个有向有环图。图中的结点代表事件,边代表事件间的逻辑关系,主要包括顺承关系、因果关系。构建事理图谱包括两项任务,事件抽取和事件关系识别。在进行事理图谱构建的过程中,现有的自然语言处理预训练-微调模型仅编码字词之间的关系,而忽略了字词本身的内部含义。本文将义原信息融合到现有的预训练微调模型中,并基于义原融合的方法对事理图谱构建工作展开研究。事件抽取是识别出事件触发词并判断事件的施事方和受事方。针对事件抽取问题,本文采用基于Bert的序列标注方法。义原作为最小的语义单位,对于每个字词最底层的含义进行标注。本部分将义原信息融入到预训练模型微调模型中,提出了基于义原矩阵分解的模型BBSMF和基于字义原预测BBSP的模型。两种模型的主要思想是在进行事件抽取任务时同时进行义原任务训练,使得义原任务调整Bert的编码结果,从而在事件抽取问题上取得更好的效果。事件抽取任务采用上述两种模型进行实验,结果显示融合义原的两种模型比融合前基于Bert的模型F1值均有提高。...
【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校
【文章页数】：62 页
【学位级别】：硕士
【部分图文】：
Transformer整体结构
哈尔滨工业大学工学硕士学位论文-11-个问题，其一是时间片t的计算依赖t-1时刻的计算结果，限制了模型的并行能力。其二是顺序计算的过程会丢失部分信息，虽然LSTM等门机制能在一定程度上抑制梯度消失问题，但对于超长句，LSTM依旧无能为力。Transformer的提出很好地解决了上述问题，首先它使用Attention机制将一句话中任意两个token之间的关系映射为一个常量，其次他不是RNN结构，具有更好的并行性。Transformer的本质是一个编码-解码模型。接下来本文将分两部分别介绍编码部分和解码部分。图2-1Transformer整体结构（1）编码器编码器由6个编码block组成。与所有的生成模型相同的是，编码器的输出会作为解码器的输入。编码器首先要经过两个模块，一个是自注意力模块，一个是前馈神经网络模块。如图2-2所示。图2-2编码器的两个模块
u，第二层是一个线性函数。具体公式如下：2211WZFFN),0max()(bbWZ(2-2)下面具体介绍数据输入以及公式2-1的各项代表的具体含义。数据首先通过词嵌入方法转化为特征向量，由于经过上述两个模块后的模型没有捕捉顺序序列的能力，即不论句子怎么打乱，得到的特征向量Z都是相似的，所以在输入中加入了位置向量(PositionEmbedding)特征，位置向量的加入会使总编码中融入位置信息，这样Transformer就能区分不同位置的表征。这里位置编码采用了自己设计编码的规则，能保证不同句子中同一位置都有相同的位置编码。生成数据的过程如图2-3所示。图2-3数据生成接下来输入的数据进入自注意力模块，自注意力是Transformer最核心的内容。Attention的本质是为输入向量的每个单词学习一个权重。在自注意力机制中，每个单词经过映射成为3个不同的向量，它们分别是Query(Q)，Key(K)和Value(V)。它们分别是由输入向量乘以三个不同的权值矩阵得到的，其中三个权值矩阵的尺寸是相同的。根据公式2-9，Q与K进行矩阵相乘，得到每个token对于其他token的得分，为了梯度的稳定，Transformer对得分进行了归一化，即除以kd，对归一化后的得分进行Softmax函数得到注意力系数。最后用注意力系数点乘V，得到最终编码结果。这里需要注意的是，在自注意力模块中用到了Multi-HeadAttention机制，它相当于h个不同的自注意力模块集成，采用multi-head方法可以使得不同的head捕捉到不同类型的特征。在自注意力模块后采用了横向规范化和残差网络结构，用于解决数据分布不平衡问题和梯
【参考文献】：
期刊论文
[1]知识图谱构建技术综述[J]. 刘峤,李杨,段宏,刘瑶,秦志光. 计算机研究与发展. 2016(03)
[2]中文事件时序关系的标注和分类方法[J]. 郑新,李培峰,朱巧明. 计算机科学. 2015(07)
[3]信息抽取研究综述[J]. 郭喜跃,何婷婷. 计算机科学. 2015(02)
[4]面向领域开源文本的因果知识提取[J]. 李悦群,毛文吉,王飞跃. 计算机工程与科学. 2010(05)
[5]中文事件抽取技术研究[J]. 赵妍妍,秦兵,车万翔,刘挺. 中文信息学报. 2008(01)
博士论文
[1]事件本体构建中若干关键技术的研究[D]. 张亚军.上海大学 2017
[2]基于社会媒体的市场行情预测方法研究[D]. 丁效.哈尔滨工业大学 2016
[3]中文事件抽取关键技术研究[D]. 谭红叶.哈尔滨工业大学 2008
[4]自由文本的信息抽取模式获取的研究[D]. 姜吉发.中国科学院研究生院（计算技术研究所） 2004
本文编号：3563122
【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校
【文章页数】：62 页
【学位级别】：硕士
【部分图文】：
Transformer整体结构
哈尔滨工业大学工学硕士学位论文-11-个问题，其一是时间片t的计算依赖t-1时刻的计算结果，限制了模型的并行能力。其二是顺序计算的过程会丢失部分信息，虽然LSTM等门机制能在一定程度上抑制梯度消失问题，但对于超长句，LSTM依旧无能为力。Transformer的提出很好地解决了上述问题，首先它使用Attention机制将一句话中任意两个token之间的关系映射为一个常量，其次他不是RNN结构，具有更好的并行性。Transformer的本质是一个编码-解码模型。接下来本文将分两部分别介绍编码部分和解码部分。图2-1Transformer整体结构（1）编码器编码器由6个编码block组成。与所有的生成模型相同的是，编码器的输出会作为解码器的输入。编码器首先要经过两个模块，一个是自注意力模块，一个是前馈神经网络模块。如图2-2所示。图2-2编码器的两个模块
u，第二层是一个线性函数。具体公式如下：2211WZFFN),0max()(bbWZ(2-2)下面具体介绍数据输入以及公式2-1的各项代表的具体含义。数据首先通过词嵌入方法转化为特征向量，由于经过上述两个模块后的模型没有捕捉顺序序列的能力，即不论句子怎么打乱，得到的特征向量Z都是相似的，所以在输入中加入了位置向量(PositionEmbedding)特征，位置向量的加入会使总编码中融入位置信息，这样Transformer就能区分不同位置的表征。这里位置编码采用了自己设计编码的规则，能保证不同句子中同一位置都有相同的位置编码。生成数据的过程如图2-3所示。图2-3数据生成接下来输入的数据进入自注意力模块，自注意力是Transformer最核心的内容。Attention的本质是为输入向量的每个单词学习一个权重。在自注意力机制中，每个单词经过映射成为3个不同的向量，它们分别是Query(Q)，Key(K)和Value(V)。它们分别是由输入向量乘以三个不同的权值矩阵得到的，其中三个权值矩阵的尺寸是相同的。根据公式2-9，Q与K进行矩阵相乘，得到每个token对于其他token的得分，为了梯度的稳定，Transformer对得分进行了归一化，即除以kd，对归一化后的得分进行Softmax函数得到注意力系数。最后用注意力系数点乘V，得到最终编码结果。这里需要注意的是，在自注意力模块中用到了Multi-HeadAttention机制，它相当于h个不同的自注意力模块集成，采用multi-head方法可以使得不同的head捕捉到不同类型的特征。在自注意力模块后采用了横向规范化和残差网络结构，用于解决数据分布不平衡问题和梯
【参考文献】：
期刊论文
[1]知识图谱构建技术综述[J]. 刘峤,李杨,段宏,刘瑶,秦志光. 计算机研究与发展. 2016(03)
[2]中文事件时序关系的标注和分类方法[J]. 郑新,李培峰,朱巧明. 计算机科学. 2015(07)
[3]信息抽取研究综述[J]. 郭喜跃,何婷婷. 计算机科学. 2015(02)
[4]面向领域开源文本的因果知识提取[J]. 李悦群,毛文吉,王飞跃. 计算机工程与科学. 2010(05)
[5]中文事件抽取技术研究[J]. 赵妍妍,秦兵,车万翔,刘挺. 中文信息学报. 2008(01)
博士论文
[1]事件本体构建中若干关键技术的研究[D]. 张亚军.上海大学 2017
[2]基于社会媒体的市场行情预测方法研究[D]. 丁效.哈尔滨工业大学 2016
[3]中文事件抽取关键技术研究[D]. 谭红叶.哈尔滨工业大学 2008
[4]自由文本的信息抽取模式获取的研究[D]. 姜吉发.中国科学院研究生院（计算技术研究所） 2004
本文编号：3563122
本文链接：https://www.wllwen.com/kejilunwen/shengwushengchang/3563122.html
最近更新
教材专著
