基于自注意力模型的企业关系抽取

发布时间：2021-04-02 23:18

　　卷积神经网络和长短时记忆网络是当前自然语言处理主要采用的特征抽取方法,但是两者在抽取长程依赖特征时有各自的局限性,因此提出了基于自注意力机制的企业关系抽取模型。通过自注意力模型进一步计算每个词的长程依赖特征,有效捕获了句子内部结构。同时使用词汇层和句子层注意力机制从不同层次抽取与关系分类更相关的特征,相对于其他模型,网络结构更加简单。在公开的公司关系数据中,准确率和召回率明显提升,多头自注意力的特征抽取能力较Bi-GRU强,其F值有2%的提升。通过实验可知,该模型在企业关系抽取中优于其他经典网络。 

【文章来源】：电子测量技术. 2020,43(10)

【文章页数】：5 页

【部分图文】：

自注意模型结构

基于自注意模型的企业关系抽取网络

图3表示本文网络与经典网络的性能对比PR图。通过表2可知,CNN的多种形式在企业关系抽取任务中性能不佳。CNN由于卷积核的窗口大小限制了对长程依赖特征的抽取。同时多头自注意力的特征抽取能力较Bi-GRU强,其性能有2%的提升。因此本文提出的网络在企业关系抽取任务中适应性强,对于长程依赖特征抽取能力强,效果较其他网络有较大提高。

【参考文献】：
期刊论文
[1]基于特征向量与SVO扩展的企业生态关系抽取[J]. 代江波,毛建华,刘学锋,张鸿洋.  计算机技术与发展. 2018(10)
[2]基于情感词典与LDA模型的股市文本情感分析[J]. 延丰,杜腾飞,毛建华,刘学锋.  电子测量技术. 2017(12)



本文编号：3116143