基于注意力机制的命名实体识别算法研究

发布时间：2021-10-01 02:53

　　随着互联网的高速发展,网络上的信息越来越丰富,也意味着在海量数据中快速有效地找到可用信息越来越困难,人们迫切地需要从海量的非结构化文本数据中提取有用的结构化数据。为此,信息抽取技术应运而生。命名实体识别作为信息抽取技术的重要任务之一,一直是国内外研究者的工作重点之一。基于此现状,本文对于命名实体识别进行两方面的研究,其一是英文领域命名实体识别的研究,其二是中文法律领域命名实体识别的研究。本文的主要研究工作如下:1.在英文命名实体识别领域,研究了命名实体与标签之间的语义关系,提出了命名实体与标签语义对齐模型。首先,引入了标签自身含有的语义,利用注意力机制捕捉命名实体与标签之间的语义关系,通过强化命名实体与标签的语义关系,提升命名实体识别的效果;其次设计了监督式注意力机制,实现命名实体与标签的语义对齐。最后通过实验结果与分析,本文提出的模型可以实现更好的效果。2.在英文命名实体识别领域,研究了语言模型对命名实体识别任务的影响,提出了联合语言模型的语义增强模型。首先,通过联合语言模型,可以实现文本序列的语义表示增强。其次,设计并搭建了联合语言模型的命名实体识别模型,对命名实体识别与语言模型进... 

【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校

【文章页数】：72 页

【学位级别】：硕士

【部分图文】：

图２－１线性链条件随机场模型图??２３

２．２长短期记忆网络??在命名实体识别任务中，循环神经网络ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ?Ｎｅｕｒａｌ?Ｎｅｔｗｏｒｋ）是最??常用的建模模型，其结构图如图２－２所示。而长短期记忆网络ＬＳＴＭ［１６］（?Ｌｏｎｇ??Ｓｈｏｒｔ－Ｔｅｒｍ?Ｍｅｍｏｒｙ?Ｎｅｔｗｏｒｋ）是循环神经网络的一种变体，在一定程度上解决了??循环神经网络常见的训练梯度消失和爆炸的问题。首先介绍＿模型。??０?０?０??Ｖ?Ｖ?Ｖ??ｓｔ?｝?ｓｔ?ｓｒ＾??ｕ?ｕ?ｕ??ｘ，?ｘ；＋１??图２－２循环神经网络结构图??本文根据图２－２对循环神经网络进行拆分讲解。循环神经网络在ｔ时刻的输??入为ｘ，，经过神经元的处理，计算得到神经元隐藏层的输出隐藏层的输出＆??得再经由神经元的处理输出得到最终输出层的输出〇，。其中，在输入阶段，神经??元不仅接收网络的输入，还接收前一时刻神经元的隐藏层输出Ｉ，。注意，在图??９??

ＬＳＴＭ模型的单个神经元的门结构设计如下图２－３所示，ｘ，表示当前时刻ｔ??的模型输入，表示前一时刻神经元的隐藏层输出，表示前一时刻神经元的??记忆状态。ＬＳＴＭ单元的前向计算过程描述如下公式所示：??卜?ＣＴ（Ｒ［／２卜丨，Ｘ，］?＋?６，）??ｆｌ＝ａ（Ｗ／［ｈｌ＿］，ｘｌ］＋ｂｆ）??ｃ－ｔ?＝?ｔａｎｌｉ?（）＾．?［ｈ，＾，?ｘ，?］?＋?６Ｃ）?（２－５）??ｃ，＝ｆｔ．ｃ卜?＼＋ｉｔ．ｃｉ??在更新得到当前时刻神经元的记忆状态之后，利用输出门对记忆状态进行??择，得到隐藏层输出，公式如下所示：??〇，＝咖卜Ｍ，ｘ，］＋九）?（２．６）??ｈ，－ｏｒ－?ｔａｎｌｉ?（ｃ，）??■

【参考文献】：
期刊论文
[1]中文微博命名实体识别[J]. 邱泉清,苗夺谦,张志飞.  计算机科学. 2013(06)
[2]命名实体识别研究进展综述[J]. 孙镇,王惠临.  现代图书情报技术. 2010(06)
[3]《知网》在命名实体识别中的应用研究[J]. 郑逢强,林磊,刘秉权,孙承杰.  中文信息学报. 2008(05)
[4]基于单字提示特征的中文命名实体识别快速算法[J]. 冯元勇,孙乐,李文波,张大鲲.  中文信息学报. 2008(01)
[5]中文机构名称的识别与分析[J]. 张小衡,王玲玲.  中文信息学报. 1997(04)



本文编号：3417114