基于混合神经网络的中文命名实体识别研究

发布时间：2022-01-13 08:55

　　命名实体识别（Name Entity Recognition,NER）是自然语言处理的基础任务,目的是在未处理过的原始文本中标注出所需的具有特定意义的实体。命名实体识别是将非结构化的文本数据转换为结构化数据的关键步骤和技术手段之一,在自动问答、信息检索和关系抽取等任务中都有关键作用。因此对命名实体识别的研究有着重要的意义。随着深度学习的发展,英文命名实体识别技术近几年有着显著的进步。但中文有着自身的特点,相对于英文文本也更为复杂。因此,中文命名实体识别还有着一些尚未解决的难点,其主要包括为:（1）中文句式结构复杂且经常存在一词多义的情况,同样的汉字和词语在不同位置和语句中有不同的意义,现有的以英文命名实体识别模型为基础所改进的中文命名实体识别模型无法有效的针对全局上下文进行建模和特征提取,从而对同型不同义的词区分。（2）中文文本缺少词分隔符,基于词级别输入的模型需要解决中文分词问题,基于字级别的输入则会缺少单词的边界信息及词义信息,这增加实体识别的难度。（3）在网络文本为主的一些语料数据中,存在着一些未登录词,这给命名实体识别任务增加了不小难度。此外,目前的命名实体识别模型在解码层大多... 

【文章来源】：上海师范大学上海市

【文章页数】：90 页

【学位级别】：硕士

【部分图文】：

四种机器学习模型对比

上海师范大学硕士学位论文第1章引言7无监督学习的典型方法为聚类。在命名实体识别中，通常根据上下文的相似性从聚类组中收集命名实体。这类技术基本上依赖于词汇资源，比如WordNet英语词典。半监督方法和无监督方法可以在特征性较为明显的封闭域语料中一定程度上的减少标识数据的需求，通过寻找句子特征达到实体识别分类效果。但在开放域或语料形式较为复杂的情况时，其往往效果不佳。1.2.3基于深度学习的方法近些年深度学习取得了较为明显的成绩，其被广泛应用于命名实体识别模型中并凭借其优秀的表现逐渐占据了主导地位。深度学习是机器学习的子领域，其通常有多个处理层构成以学习数据所含有的多个特征。常用于提取特征的处理层为人工神经网络。人工神经网络可以通过标注语料库自动学习特征，从而减轻了对人工特征的依赖。图1-2展示了多层神经网络结构与其反向传播算法。底层神经元输出通过加权求和并通过非线性函数传递给下一层为神经网络的前向传播，通过复合函数链式求导法则以损失函数为起始计算多层神经网络下降梯度为其返现传播算法。这种神经网络算法在诸多自然语言处理任务中已经证明其可以有效的提取文本信息的部分语法甚至语义特征。图1-2神经网络前向传播与反向传播Collobert和Weston[44]于2008第一次将神经网络框架引入命名实体识别任务，其特征向量输入通过英文单词拼写特征，字典和词典所构成。随后Collobert等人[45]于2011年再次改进模型将人工构建特征替换为词嵌入(wordembedding)，这种方式可将单词在n维空间中予以展示并保留单词的信息。此方法是种完全无监督的学习过程，只通过单词附近的共现特征对单词进行特征提龋同时该模型

Bi-LSTM+CRF命名实体识别架构

【参考文献】：
期刊论文
[1]基于深度神经网络的中文命名实体识别[J]. 张海楠,伍大勇,刘悦,程学旗.  中文信息学报. 2017(04)
[2]基于单字提示特征的中文命名实体识别快速算法[J]. 冯元勇,孙乐,李文波,张大鲲.  中文信息学报. 2008(01)



本文编号：3586116