少样本关系抽取方法研究

发布时间：2021-08-10 04:46

　　在互联网中存在着大量的文本数据,信息抽取可以从文本中提取出有效信息为我们所用,而关系抽取是信息抽取中重要的步骤之一,现有的关系抽取方法通常需要较多的标注语料,这需要大量的人力物力,而远程监督的方法又存在着噪声和长尾分布问题。由此,少样本关系抽取问题被提出。在少样本关系抽取任务中,模型需要使用极少数据进行关系抽取。本文针对少样本关系抽取问题,从以下几个方面进行研究:（1）基于类别特征表示的少样本关系抽取方法研究。基于类别特征表示的少样本关系抽取方法有着较快的预测速度和较低的硬件资源占用,有着广阔的应用场景。本文使用与训练模型BERT作为关系实例的编码器,研究了两种类别特征表示方法,分别基于图注意力网络和动态路由机制进行类别特征表示。（2）基于匹配的少样本关系抽取方法研究。针对类别特征表示方法中存在的实例特征表示过程和类别特征表示过程中所存在的特征损失问题,使用查询实例与支持集合中的每个实例进行匹配,得到查询实例与该支持集合的相似度。提出模型BERT+ESIM,并从编码层,句子匹配层,损失函数,对抗训练多个方面进行研究。（3）进一步研究基于匹配的少样本关系抽取方法,提出分段注意力匹配网络,... 

【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校

【文章页数】：67 页

【学位级别】：硕士

【部分图文】：

通过BERT编码句子向量

哈尔滨工业大学工学硕士学位论文-22-3.2基于匹配的少样本关系抽取总体架构3.2.1总体架构对于基于匹配的少样本关系方法，我们设计了如下的通用算法流程：对于给定的查询实例12(,,,),{1,...,}tqxeertN与N个支持集合,,1,,2{{(,,,)|1,...,}|1,...,}iijijijijiSSsxeerjKiN。我们通过句子相似度计算的方式来计算查询实例和支持集合的相似度。首先，我们计算查询实例q和第i个支持集合Si中第j个实例sij的相似度ijsim，然后取均值mean(),{1,...,}iijSimsimjK作为q与Si的相似度，最后取argmaxitSim作为预测类别。在计算q与sij相似度时经过编码层和句子匹配层。编码层用来对输入的关系实例进行词向量嵌入，句子匹配层用来计算实例间的句子相似度。基于匹配的少样本关系抽取网络通用结构如图3-1所示：图3-1基于匹配的少样本关系抽取网络通用结构3.2.2句子相似度算法介绍在句子匹配层，我们需要使用句子相似度算法来计算经过编码后的两个句子的相似度，句子相似度算法在这部分起到主导作用。句子相似度计算任务或自然语言推理任务（NaturalLanguageInference）是自然语言处理中的基础任务之一，在搜索系统、问答系统、推荐系统中均有着广泛的应用。根据句子相似度算法的发展，主要分为：单语义模型，深层次的句间交互模型以及预训练模型。单语义模型中较为典型的是Huang等[48]于2013年提出的DSSM模型，该模型使用wordhashing代替词袋模型，有效减小了词表大小，然后使用全连接层输出句子向量，最后使用句子向量的余弦相似度作为文本相似度。该

哈尔滨工业大学工学硕士学位论文-24-3.3.1模型总体架构在基于匹配的通用架构基础上，我们在编码层使用BERT模型，在句子匹配层使用ESIM模型，模型总体架构如图3-2所示：图3-2BERT+ESIM模型总体架构接下来我们将详细介绍在BERT+ESIM模型的编码层和句子匹配层中如何对数据进行操作。3.3.2编码层我们使用BERT作为实例编码方式，将查询实例q和第i个支持集合中的第j个实例sij输入BERT中，输入前句子表示的方式与2.3.2节相同：11,start11,end2,start2,end-2[cls]..sep].[imsentencexeeexeeex2(3-1)但是输出部分与2.3.2节中仅取[cls]位置的向量作为句子特征表示不同，我们取整个句子的所有单词的向量表示作为编码层的输出结果，如图3-3所示：

【参考文献】：
期刊论文
[1]基于深度学习的关系抽取研究综述[J]. 庄传志,靳小龙,朱伟建,刘静伟,白龙,程学旗.  中文信息学报. 2019(12)



本文编号：3333490