面向开放领域文本的实体关系抽取技术研究

发布时间：2021-08-04 13:41

　　面向开放领域文本的实体关系抽取是一项具有重要研究价值的自然语言处理任务,它的提出是为了从海量文本中高效准确地抽取有价值的实体关系信息。远程监督实体关系抽取方法利用远程监督假设来自动标注大量句子,在这些数据上构建模型,能够有效地避免有监督模型数据集规模过小、领域依赖性强的问题,因此更适用于开放领域文本。然而,由于标注数据中同时包含两个实体的句子并不一定就表达了这两个实体的关系,导致噪音句子的产生,给远程监督实体关系抽取模型带来了挑战。基于句子层面注意力机制的分段卷积神经网络（Piecewise Convolutional Neural Network With Sentence-level Attention,PCNN+ATT）模型是目前常用的远程监督关系抽取模型,它为句子分配权重以抑制噪音句子的干扰,但仍存在两个不足。其一是采用PCNN模块作为句子编码器,所提取的特征仅包含局部的上下文信息,会导致语义信息的丢失;其二是忽略了词语层面的注意力权重,会导致句子向量对句子语义的表达不够准确。针对这两个不足,本文提出了基于层次化注意力机制的双向GRU（Hierarchical Attentio... 

【文章来源】：华南理工大学广东省 211工程院校 985工程院校 教育部直属院校

【文章页数】：70 页

【学位级别】：硕士

【部分图文】：

循环神经网络的基本结构

( ) ( ) 出，RNN 的输出值 是受前面各个时刻的输入值 、 值 包含了它们的信息，这正是 RNN 能够具有长期记忆的失和梯度爆炸型的训练最常用的优化算法是随时间反向传播算法（ ）[33]-[34]，首先在前向传播后计算得到输出值与实际值之间层级（输入层 => 隐藏层 => 输出层）梯度的纵向传播和时的横向传播两方面考虑，利用链式法则来计算误差 关于参数优化。

GRU网络

【参考文献】：
期刊论文
[1]实体关系抽取研究综述[J]. 刘绍毓,李弼程,郭志刚,王波,陈刚.  信息工程大学学报. 2016(05)
[2]数据驱动的依存句法分析方法研究[J]. 李正华,李渝勤,刘挺,车万翔.  智能计算机与应用. 2013(05)



本文编号：3321800