基于BiLSTM-CRF模型的中文命名实体识别研究与实现

发布时间：2020-12-10 00:43

　　命名实体识别是自然语言处理领域的一个分支以及一个关键技术,其任务目标是识别出文本数据中存在的特定意义或者指代性强的实体名,其识别结果将进一步影响到自然语言处理的后续任务。随着深度学习理论与技术的发展,面对不断增长的非结构化文本数据,基于深度学习的命名实体识别将具有非常重要的意义。本文使用深度学习的方法,以单向的LSTM-CRF模型为基准模型,构建一个改进的BiLSTM-CRF中文命名实体识别算法模型,以人名、地名、组织名作为命名实体识别目标,并将该命名实体识别算法模型成功应用在实践中。具体的工作如下。第一,针对单向的LSTM-CRF模型中存在的不足之处,单向的LSTM网络结构只可以学习单向的文本序列信息,不能真正做到学习文本序列的上下文信息。本文将对单向的LSTM网络结构构建为双向的LSTM网络结构,构建一个BiLSTM-CRF的算法模型,从而有助于对文本序列的上下文信息提取。第二,引入注意力机制,通过在BiLSTM-CRF算法模型中加入一个Attention层,设计并得到一个改进的BiLSTM-CRF命名实体识别算法模型。在该模型中,BiLSTM层用于对文本序列进行上下文信息的全局特... 

【文章来源】：江西财经大学江西省

【文章页数】：64 页

【学位级别】：硕士

【部分图文】：

对文本进行命名实体识别

基于BiLSTM-CRF模型的中文命名实体识别研究与实现8图2-2对文本数据进行BIO标注评判一个命名实体是否被正确识别，主要包括如下三个方面：（1）实体边界是否正确（2）实体类别是否标注正确（3）实体内部位置是否标注正确如果以上判别标准一条或者多条不满足，那么命名实体的识别结果为错误。在测试或训练语料数据中，通过统计出所有命名实体的识别结果的个数，包括识别正确和识别错误的个数，使用机器学习中常用的三个评价指标对模型进行测评，其中三个评价指标为准确率P、召回率R及F-值，详见4.2节。2.1.3命名实体识别的算法模型命名实体识别的实现算法历经了三个阶段，由早期的基于规则和词典的方法，21世纪初的基于统计概率的方法，到如今最为广泛使用的基于深度学习的方法。通过神经网络模型实现命名实体的识别已经成为目前主流的方法。在NER任务中，文本是以序列的形式存在，一个句子可以看作是符合一定自然语言规则的词的序列。这些语言规则包含非常复杂的语法和语义的组合关系，很难显式地去建模这些规则，但是可以通过神经网络模型从已知的序列分布中学习并生成新的序列样本，这就是深度序列模型。因此，基于神经网络的命名实体识别算法模型相当于深度序列模型。深度序列模型一般可以分为三个部分：嵌入层、特征层、输出层。(1)嵌入层由于神经网络模型的输入为数值向量，而文本数据在计算机中是一种符号表示的信息，因此需要将文本数据转化为数值向量。其中一种简易的转换方法是通过一个嵌入表(也称为嵌入矩阵或查询表)来将每个文本符号直接映射成向量表示，如图2-3所示。令)1(:1ttxh表示输入的历史信息，其中第k列向量km表示词表中第k个词对应的向量表示。通过嵌入层的映射可以得到字词序列t)1(:1x对应的向量序列1

word2vec词向量降维效果图


本文编号：2907767