融合外部文本信息的知识表示学习研究

发布时间：2021-03-09 07:05

　　知识图谱是人工智能的重要组成部分,能够更好的组织、管理和理解互联网中海量的信息并且以其强大的语义处理能力和开放互联能力将这些信息以结构化的形式呈现给人们。三元组“实体,关系,实体”是知识图谱的一种通用的表示方式,实体通过关系相互连接构成语义网络并以符号形式或者网状结构存储在知识图谱中,但是这样的表示方式却存在数据稀疏和计算效率不佳等问题,因此如何更好对知识图谱中的知识进行表示是提升知识图谱质量的关键。随着深度学习领域的走红,表示学习技术也逐渐受到人们关注,面向知识图谱进行表示学习成为构建高质量知识图谱的基础。知识表示学习旨在面向知识图谱进行表示学习,将知识图谱中的实体和关系映射到低维稠密的向量空间,在该向量空间下,实体和关系都被表示成向量形式,便于计算它们之间的语义关系和发现更深层次的语义联系。该技术可显著提升计算效率和缓解数据稀疏问题并实现多源异质信息的融合,对知识库补全和知识推理等下游任务的质量有很大提升。以往的知识表示学习技术都只利用了三元组本身的结构信息,但是知识图谱中还包含了大量的实体和关系描述信息、类别信息,甚至互联网中还存在大量未被加入到知识图谱的文本信息,这些信息都能够... 

【文章来源】：吉林大学吉林省 211工程院校 985工程院校 教育部直属院校

【文章页数】：65 页

【学位级别】：硕士

【部分图文】：

TransE算法流程

第2章基于三元组事实的知识表示学习方法12但是TransE的参数小也同时会暴露其他问题，就是在处理复杂关系时，并不是太到位。通常我们用与关系两端相连接的头尾实体数量来划分关系类型，比如1:1，1:N，N:1，N:N这四种。1：N意味着在该关系下，存在一种头实体对应N个尾实体，其他的可类推。规范来看即为：},,{},,...1,0{Strhnx，除了1:1之外，其他类型都可视为复杂关系类型。TransE之所以在处理复杂关系类型上乏力，主要和它的模型假设有关，根据TransE的假设，在面对1:N，N:1，N:N时可以推出这样的结论：如果关系r属于N-1关系，我们可得到nhhh...21,同理我们也可以推理出在该关系下有mttt...21。比如知识图谱中存在两个三元组，分别为(美国，球星，科比·布莱恩特)和(美国，球星，保罗乔治)，这里的球星就是很明显的1:N的复杂关系类型，若采用TransE表示，就会使得科比·布莱恩特和保罗乔治的词向量非常接近，甚至相同。具体情形如下图所示：图2.4复杂关系类型图这在实际上是非常的不合理的，科比·布莱恩特和保罗乔治只是在球星这这个关系下比较贴近，其他的方面都没什么联系，所以在复杂关系情况下，TransE对学习到的实体区分能力较弱。因此在TransE的基础上，有很多人做了大量的工作来进行改进。（2）TransH模型[33]TransH模型是在TransE基础上进行了一些改进，为了解决TransE由于自身假设的局限性所造成的无法解决复杂关系类型的问题，正如第二章介绍的那样，TransH认为一个实体在不同关系下具有不同的属性，那么理应具有不同的

第2章基于三元组事实的知识表示学习方法13表示。其核心思想为对每一个关系定义一个超平面rW和一个关系向量rd，⊥⊥,th是在rW上的投影，并要求正确的三元组满足rrrtdh，这样既能保证一个实体在不同的关系中的表示不同，而在不同实体在同一个关系下的表示也可以相同。因此对于一个三元组,,trh我们定义了如下的损失函数：2\1⊥⊥⊥),(LLtdhrlllthf········（2.9）其中我们假设rw为关系平面rW的法向量，并设定12\1LLrw，则头实体h在rw上的投影为：⊥hwwhTwr···········（2.10）我们可得：hwwhhhhTwr⊥········（2.11）同理可得：hwwttttTwr⊥········（2.12）由于关系可能同时存在无数个超平面，TransH通过使rdl与rw近似正交来选出某一个特定的超平面，TransH模型图如下所示：图2.5TransH模型（3）TransR模型[34]由于TransH仍然认为关系和实体是存在于同一语义空间中，这实际上对TransH的表示能力有所限制，因此TransR模型在此基础上做了更加完善的工作。TransR的主要思想为一个实体并不是单一的，应该是不同的属性的一种结


本文编号：3072469