基于迁移表示学习的军事命名实体识别

发布时间：2021-03-03 06:54

　　针对军事领域标注文本不足的问题,结合实体识别技术,提出了基于自注意力（Transform-er）双向语义表征模型（BERT）、双向长短时记忆网络（Bi-LSTM）和条件随机场（CRF）的军事命名实体识别框架（BERT-Bi-LSTM-CRF）。该框架以字、字位置、语义块及词性作为模型输入特征,通过BERT网络迁移学习,获得通用领域语义编码特征,再利用Bi-LSTM解码军事语义特征,最后通过CRF实现序列预测。试验结果表明,该框架相对于现有基准方法在准确率、召回率和F1值上表现良好。 

【文章来源】：指挥信息系统与技术. 2020,11(02)

【文章页数】：6 页

【部分图文】：

BERT-Bi-LSTM-CRF组成

图2给出了7种算法在前10次迭代的F1准确率。可见，BERT?Bi?LSTM?CRF和BERT?DNN?CRF 2种算法初始化准确率明显高于其他算法，而且接近最终准确率。这主要归功于BERT算法的通用表示能力。而且由于Bi?LSTM算法的双向性和LSTM的输入门、遗忘门、输出门及长期记忆的设计，使得该算法更能解码军事行业的文本的上下文之间的关系，准确率也略高于BERT?DNN?CRF算法。准确率关键指标对比如表2所示。表2中，P1为首次稳定F1准确率；n为首次稳定迭代数；P2为首次迭代F1准确率；P3为最终F1准确率。基于BERT算法的BERT?Bi?LSTM?CRF和BERT?DNN?CRF2种算法仅需不到10次迭代，其首次稳定准确率均超过90%，达到稳定的速度明显快于其他算法，首次迭代准确率较高，且最终准确率均高于其他算法。指标对比表明，基于BERT的迁移学习算法具有较强的领域适应性。

7种算法最终准确率对比如图3所示。基于BERT算法的BERT?Bi?LSTM?CRF和BERT?DNN?CRF 2种算法的准确率略高于其他5种算法，与Bi?LSTM?CRF算法较接近，主要因为Bi?LSTM?CRF算法具备双向性、长短时间记忆性及CRF解决序列预测的能力。使得上述3种算法均能收敛于相对较高的F1准确率。而BERT?Bi?LSTM?CRF和BERT?DNN?CRF 2种算法因为BERT算法的通用表示能力，具备了更快达到最终准确率的优势。4类算法的泛化能力对比如图4所示。算法的泛化能力指训练集和测试集F1准确率的差异，也就是差异越低其泛化能力越强。BERT类算法主要包括BERT?Bi?LSTM?CRF和BERT?DNN?CRF算法；Bi?LSTM类算法主要包括Bi?LSTM?CRF,Bi?LSTM?CNN?CRF和Bi?LSTM算法。试验结果表明，BERT类算法泛化能力明显高于Bi?LSTM类算法，而Bi?LSTM类算法的泛化能力接近于DILA?TION?CRF算法。

【参考文献】：
期刊论文
[1]基于BLSTM的命名实体识别方法[J]. 冯艳红,于红,孙庚,孙娟娟.  计算机科学. 2018(02)
[2]结合词语规则和SVM模型的军事命名实体关系抽取方法[J]. 单赫源,吴照林,张海粟,刘培磊.  指挥控制与仿真. 2016(04)
[3]面向军事文本的命名实体识别[J]. 冯蕴天,张宏军,郝文宁.  计算机科学. 2015(07)
[4]信息抽取在战略情报研究中的应用[J]. 袁林.  指挥信息系统与技术. 2012(01)
[5]CRF与规则相结合的军事命名实体识别研究[J]. 姜文志,顾佼佼,丛林虎.  指挥控制与仿真. 2011(04)



本文编号：3060826