基于分段卷积神经网络的关系抽取方法研究

发布时间：2024-04-23 00:59

　　自然语言处理是人工智能一个重要的子领域,对人类生活的影响重要且深远。目前如何从海量、冗余的信息中提取用户感兴趣且有意义的内容是亟待解决的问题。信息抽取的两项核心性任务是命名实体识别和关系抽取,近年来深度学习技术在两任务中得到了广泛应用,在效果上取得了很大的进步。关系抽取任务建立在实体识别任务之上,目的是对识别出有意义的实体进行关系提取。本文采用管道方式,研究了以词向量预训练模型为基础的命名实体识别模型,进而利用识别出的实体与神经网络结合完成关系抽取任务。下面对本文工作和创新点进行介绍:1.完成了基于BERT-BiLSTM-CRF模型的命名实体识别工作。通过BERT预训练模型获得词的向量表示,该方法有效缩短了训练时间,对一词多义问题处理效果显著。接着将向量表示序列输入BiLSTM网络层获取文本上下文特征,最后通过CRF层对序列特征进行标注得到最终实体识别结果。2.提出了一种分段卷积神经网络完成关系抽取任务。模型的输入内容为一个句子与其实体,将输入内容转换成表示向量后送入卷积层。在卷积层把向量分成两段并分别采用不同卷积操作,融合了句子和实体信息的模型能更好地提取文本特征。两段卷积结果拼接后...

【文章页数】：63 页

【学位级别】：硕士

【部分图文】：

图2.1Word2vec模型图

第2章相关技术介绍10距离两种方法计算向量距离。假设两个文本的向量分别表示为：=12(,,...,)nXxxx和=12(,,...,)nYyyy。欧式距离衡量的是多维空间中两个点之间的绝对距离。欧式距离越小表示两个文本相似度越高，计算方法如公式(2.1)所示。==21dist(,....

图2.2ELMo模型结构图

第2章相关技术介绍12图2.2ELMo模型结构图3.GPTGPT模型由OpenAI团队提出，它的目标是追求应用在大量任务上，学习一个通用表示。GPT的网络结构较ELMo更深更广，为了更好捕捉句子中的长距离语义依赖关系。研究团队用Transformer[35]代替了ELMo中的多层....

图2.3BERT模型图

第2章相关技术介绍12图2.2ELMo模型结构图3.GPTGPT模型由OpenAI团队提出，它的目标是追求应用在大量任务上，学习一个通用表示。GPT的网络结构较ELMo更深更广，为了更好捕捉句子中的长距离语义依赖关系。研究团队用Transformer[35]代替了ELMo中的多层....

图2.4经典RNN基本结构图

第2章相关技术介绍13向结构，双向结构使BERT更好融合上下文信息。BERT训练过程类似完形填空问题，首先在训练时遮盖住15%左右的词，这些词用人工遮盖符号[MASK]代替，语言模型通过预测这些词，不断对比评估上下文来让网络学习通用的语义、词法信息。BERT成功在11项NLP任务....

本文编号：3962389