融合Self-Attention机制和n-gram卷积核的印尼语复合名词自动识别方法研究

发布时间：2024-04-01 01:19

　　针对印尼语复合名词短语自动识别,提出一种融合Self-Attention机制、n-gram卷积核的神经网络和统计模型相结合的方法,改进现有的多词表达抽取模型。在现有SHOMA模型的基础上,使用多层CNN和Self-Attention机制进行改进。对Universal Dependencies公开的印尼语数据进行复合名词短语自动识别的对比实验,结果表明:TextCNN+Self-Attention+CRF模型取得32.20的短语多词识别F₁值和32.34的短语单字识别F₁值,比SHOMA模型分别提升了4.93%和3.04%。

【文章页数】：9 页

【部分图文】：

图1n元复合名词短语分布情况

研究问题1(RQ1)的提出是基于对印尼语复合名词n-gram数据的观察,图1展示的是复合名词短语的n-gram分布情况。由于复合名词包含二元、三元、四元词汇,因而提出比较n-gram卷积核和基准模型以及无n-gram卷积核模型的识别效果。

图2研究框架流程

采用BIO标签将印尼语语料进行复合名词短语标注,之后转化为词嵌入表示作为不同模型的输入。根据模型结构的差异,用于探讨本文提出的2个研究问题,即分别评价n-gram卷积特征对模型的影响以及Self-Attention机制和n-gram卷积特征对模型的影响。研究框架的具体流程如图2所....

图3模型架构比较

在本实验中,同时使用TextCNN对SHOMA的模型进行改进,即在原本的CNN层中,添加一层卷积核大小为4的CNN层,使得模型可以捕获到4-gram的词汇信息(如图3中的TextCNN+Bi-LSTM+CRF所示)。图4单层CNN模型

图4单层CNN模型

图3模型架构比较图5三层CNN模型

本文编号：3944787