融合双向GRU与注意力机制的医疗实体关系识别

发布时间：2024-06-01 17:32

　　传统的实体关系识别方法多数是以单个句子作为处理单元,难以解决训练语料中实体关系标签标注错误的问题,且没有充分利用包含实体信息的多个句子在分类实体关系时的相互增强作用。为此,提出一种双向门控循环单元(GRU)和双重注意力机制结合的中文电子病历医疗实体关系识别方法。构建BiGRU-Dual Attention模型,采用双向GRU学习字的上下文信息,以获取更细粒度的特征,通过引入字级注意力机制提高对关系识别起决定作用的字权重,同时利用句子级注意力机制从多个句子中获取可增强识别性能的特征,降低标注错误的句子对分类的影响。实验结果表明,与BiLSTM-Attention模型相比,该模型的F1值提高了3.97%,达到了82.17%。

【文章页数】：7 页

【部分图文】：

图1句子编码模型

句子编码模型如图1所示,将任意给定的一个句子xi={c1,c2,…,cn}通过双向GRU编码处理,字级注意力机制计算产生每个字的权值,并把双向GRU的输出向量表示成一个句子向量。2.1.1向量表示

图2当前字与医疗实体的相对位置

2)位置向量表示:在关系抽取任务中,位置嵌入用相对位置的低维向量表示,最早被文献[12]引入实体关系抽取任务中。在图2所示标注的句子中,当前字“引”与医疗实体“感冒”“发烧”之间的相对位置分别为2和-2,每个相对位置分别对应一个位置向量,维度为dp。最后,实验将字向量和位置向量连....

图3GRU结构

GRU是循环神经网络的分支,也是LSTM的变体,GRU在保持LSTM效果的同时使其结构简单,且计算简便,由于其在序列处理上的出色表现而被广泛应用于自然语言处理任务中。GRU结构如图3所示。zt=σ(Wzxt+Uzht-1+bz)(1)

图4句子级注意力机制模型

目前,很多用来构建知识库的方法均需要标注好的训练语料,人工标注的语料因为标注人员不同而导致语料噪声。在实验标注的语料库中,相同的实体对和实体类型在不同的语料中被标注为不同的关系标签,影响模型效果。常见的关系抽取方法是以句子作为单独的处理单元,若仅使用字级注意力机制时,则只考虑到当....

本文编号：3986234