基于深度学习的中文信息抽取研究

发布时间：2021-08-06 01:49

　　信息抽取技术随着计算机科学的进步不断突破,命名实体识别和实体关系抽取作为信息抽取技术的主要任务,命名实体识别可以从非结构文本中抽取出诸如人名、地名、机构名等重要实体载体,实体关系抽取可以从已获得实体的文本中抽取实体间语义关系。两者作为重要的基础任务,是很多高级任务如机器翻译、机器问答等的组成部分之一,因此具有深远的意义和影响。论文主要研究成果如下:（1）针对传统机器学习方法需要大量的特征来保证准确率,特征模板特别依赖于人工和专家知识,以及传统机器学习存在难以获取长距离依赖信息等缺点。构建一种基于BERT-BiLSTM-CRF深度学习网络架构,通过BERT模型来对语料进行文本特征提取,作为BiLSTM网络的输入。BiLSTM克服了传统机器学习的长距离依赖难以获取的缺点,从而对标签序列做出有效的预测。CRF可以通过训练学习得到标签转移概率和约束条件,在最终预测时防止非法标签的出现。实验结果表明,BERT-BiLSTM-CRF模型拥有良好的识别效果。相较于传统模型在准确率、召回率和F值上均有较大程度提升。（2）提出了一种注意力机制融合句法分析的BiGRU神经网络模型,利用依存句法分析获取中文... 

【文章来源】：贵州大学贵州省 211工程院校

【文章页数】：75 页

【学位级别】：硕士

【部分图文】：

预训练模型结构对比

汉语语言模型中通常认为第 i 个词出现只和它经网络模型中，认为第 i 个词出现与它前面所有自然语言时使用循环神经网络模型比使用传统的的神经网络模型会随着隐藏层的数目增加带来梯题 Hochreiter 提出一种模型——长短期记忆模网络中最常见的变形。在循环神经网络中，它会步长内重写自己的记忆，在 LSTM 模型中，它是状态，并且将当前数据所输入的特征进行记忆。网络模型包含输入门、遗忘门和输出门。其中决态到当前时刻的单元状态时使用遗忘门；决定保时刻的单元状态时使用输入门；决定当前时刻的门。将 LSTM 模型进行简化后就得到 GRU 神经网重置门。


本文编号：3324831