面向特定领域图像的语义知识抽取方法研究

发布时间：2025-02-08 18:07

　　随着知识图谱技术的发展,领域知识图谱的构建逐渐成为研究热点。然而,以往在构建知识图谱时,往往只注重文本中的知识,而忽视了图像、视频等多媒体数据中存在的视觉知识。因此,这些知识图谱在一些可视化问答等方面发挥的作用是有限的。本文将从图像描述文本和图像视觉中获得的实体及语义三元组视为图像的相关语义信息,基于这些语义信息提出了一种多模态知识图谱构建方法,并以与人的行为相关的领域数据为例,获取图像的相关语义信息用于构建多模态知识图谱。本文做了以下研究工作。1)设计了多种信息融合策略,对利用不同信息抽取工具从图像描述文本中抽取的文本语义和关系进行融合。图像描述文本描述了图像的视觉语义信息,利用OpenIE和Reverb两种信息抽取工具分别抽取图像描述文本中的文本实体、关系和文本语义三元组,设计多种策略分别对以上抽取的内容进行融合以获得最佳的融合结果。最后,利用图像描述文本和融合后的文本语义三元组训练词向量模型。2)设计了一种基于三元组拼接和筛选策略生成图像视觉语义三元组。利用已训练的物体识别模型Inception-V4获得图像视觉实体标签,利用已经获得的关系集合作为图像视觉实体之间关系的取值来源,通...

【文章页数】：75 页

【学位级别】：硕士

【部分图文】：

图3-1开放信息抽取

11第3章基于OpenIE和Reverb的文本语义抽取3.1问题描述文本作为一种常用的表达信息的手段，在日常生活中扮演着重要的角色。文本中词的集合、短语的集合、信息抽取的结果、文本的词向量等均可用来表达一段文本的语义信息。然而，由于知识图谱中的语义信息是以三元组<主语，谓语，宾语....

图3-5信息抽取结果评测

g1和arg2构成实体集合E，rel的所有值构成关系集合R。对于任意图像Gi的st（s,r,p）_Gi集合中的任意一条语义三元组t（s,r,p），若实体s和p包含于E，r包含于R，则将此条语义三元组归并到当前图像的reV（arg1,rel,arg2）<sub>....

图3-7使用均值法处理前后语义三元组正确率的对比结果

173.3实验分析及评价3.3.1评估均值法对解决工具差异性问题的有效性工具差异性问题是指由于抽取工具的评分机制不同，导致对同一条句子抽取的相同的语义三元组却有着不同的置信度值。本文利用均值法均衡不同工具的特点，为相同的语义三元组重新赋予置信度值，以获得更为准确的语义三元组置信度....

图3-8不同条件下三元组置信度对比图

18图3-8不同条件下三元组置信度对比图Average是指对数据集中不同的文本经信息抽取后拥有不同置信度值的相同的语义三元组采用平均值法为语义三元组的置信度重新赋值，而Max则是指对以上三元组采用最大值法为语义三元组的置信度重新赋值。总体数据是指在整个数据集下，按照以上两种方法为....

本文编号：4031764