基于图注意网络的文本增强知识图谱表示学习

发布时间：2021-08-11 04:59

　　知识图谱表示学习也称知识图谱嵌入,旨在挖掘知识图谱中涵盖的有效信息并转变为向量表示,从而更方便地被应用于机器学习和深度学习模型之中,并应用于检索、推荐、推理等目的。提高知识图谱表示学习模型的表达能力主要从两方面入手。1)知识图谱表示学习模型的改进。在传统知识图谱表示模型的基础上结合卷积神经网络模型、注意力机制以及目前备受关注的图神经网络等模型的优势针对模型架构设计进行优化。2)扩充知识库。由于只通过知识图谱的结构数据无法对图谱信息进行完整建模,因而试图通过一些外部的知识库信息来扩充知识图谱,并设计相应的知识增强模型来充分挖掘知识图谱的内容信息,从而达到提升性能的目的。本文主要研究内容包括:1)针对上述两个方面对知识图谱表示学习算法进行优化,提出了基于图注意网络的文本增强知识图谱表示学习模型TGAT,并基于WN18RR和FB15K-237数据集验证了TGAT模型在链接预测任务上的性能表现;2)为了验证算法在真实场景中的表现,我们结合保险行业的核保任务场景,构建了保险医疗知识图谱数据集MI225,验证了TGAT模型在MI225数据集上的性能表现;3)为了研究知识表示模型和深度学习模型的有机... 

【文章来源】：华东师范大学上海市 211工程院校 985工程院校 教育部直属院校

【文章页数】：90 页

【学位级别】：硕士

【部分图文】：

知识图谱可视化示例

。然而，知识图谱的研究应用还尚处于初级阶段，一方面，知识图谱遭受缺失实体和关系的不完整性的困扰；另一方面，知识图谱中蕴含的的信息没有被充分挖掘和利用；导致知识图谱应用于信息抽娶关系预测、搜索推荐、大数据分析等任务中还面临着决策能力欠佳等劣势。知识表示研究是为了利用计算符号来表示人脑中的知识，利用符号运算模拟知识推理的过程，通过学习到更好的表示策略从而更好的服务于下游应用。因此激起了许多研究者对知识图谱表示学习的相关研究。知识表示主要分为基于离散符号和基于连续向量的知识表示模型。如图1-2所示，基于离散符号表示的方法通过构建数据模型并制定一些规则来描述一条知识，视力下降是糖尿病的并发症，这样一条知识被预定义好的数据模型表示并存储。而基于连续向量表示的方法将实体以及关系表示为分布式向量或张量。图1-2知识的离散符号表示以及连续向量表示图示基于离散符号的知识表示模型包括资源描述框架(ResourceDescriptionFramework,RDF)、网络本体语言(WebOntologyLanguage,OWL)以及查询语言(SPARQL)。基于连续向量的知识表示模型也称知识图谱表示学习或者知识图谱嵌入，主要是把知识图谱中稀疏的的实体、关系表示映射为低维稠密的向量表示，经典的方法例如TransE[4]、ComplEx[5]、SME[6]等。虽然基于离散符号的表示方法能够显式的表达知识，并具备可解释性，但其高稀疏性、高计算复杂性以及不能直接对接神经网络等机器学习工具导致其应用局限；而基于连续向量的知识表示具有较弱的逻辑约束，通过将实体和关系转换为连续的向量，简化操作的同时保

华东师范大学硕士学位论文基于图注意网络的文本增强知识图谱表示学习5AttentionNetwork,GAT)[26]。图注意网络模型通过分配给!跳邻域中不同实体不同权重，从而全面捕获了多跳邻域中的实体和关系特征以及语义相似的关系。1.3本文的章节安排本文的工作主要是研究并改进知识图谱表示学习算法；在经典公开数据集上（如FreeBase、WordNet）对经典任务（链接预测）进行验证；针对模型不同层进行消融实验研究；结合应用场景构建知识图谱数据集并验证模型性能；同时为了让知识表示模型赋能深度学习任务，我们设计了基于知识表示的深度学习模型，从而将知识图谱表示模型赋能下游应用。本文的工作安排如下：图1-3章节安排框架第一章主要介绍了知识图谱的概念、发展、应用以及知识图谱表示学习的研究背景、研究现状和研究意义。在此基础上通过对知识图谱表示学习算法进行调研总结，形成国内外在知识图谱表示学习领域的研究现状分析，最后引出全文的章节安排。第二章为知识图谱表示学习模型算法研究。本章通过将多种不同的知识图谱表示学习算法进行归类，分别针对平移距离模型、语义匹配模型以及基于卷积神


本文编号：3335503