社会多媒体网络表示学习研究

发布时间：2021-03-04 00:25

　　随着互联网的飞速发展,每天都会产生大量社会多媒体数据。这些社会多媒体数据中包含大量的关系信息,它们被广泛用于推荐系统、专家发现等重要的应用以挖掘有价值的信息。网络（数据结构）被广泛用于建模社会多媒体数据中的关系信息,网络结构的社会多媒体数据又被称为社会多媒体网络。近几年来,随着深度学习等机器学习技术的发展,涌现出大量面向社会多媒体网络的应用。实现这些应用所需要解决的基础问题之一,是如何有效地学习网络中节点的低维特征表示,以更好地捕捉网络节点隐含的语义信息。许多社会多媒体网络应用依赖于网络节点表示所提供的语义,且可以得益于更好的网络节点表示。然而,真实世界中社会多媒体网络的结构具有异构性和稀疏性,网络节点也可能会关联多种模态的内容数据。因此,社会多媒体网络表示学习是一项具有挑战性的任务。本文研究社会多媒体网络表示学习方法及其应用,并设计了面向具体任务的模型。本文主要工作如下:（1）针对社会多媒体网络数据的异构性、稀疏性和多模态性,提出一种基于注意力协同的多模态异构网络表示学习模型A2CMHNE。模型使用元路径捕捉异构多模态网络中隐藏的结构信息和多模态内容信息,并分别学习基于结构信息和内容... 

【文章来源】：合肥工业大学安徽省 211工程院校 教育部直属院校

【文章页数】：88 页

【学位级别】：博士

【部分图文】：

社会多媒体网络示例

合肥工业大学博士学位论文4重要的研究意义。（2）社会多媒体网络表示学习为多模态内容表示学习引入了新的思路。现有的社会多媒体网络表示学习方法主要针对社会元素（如用户、标签等）进行网络建模，网络的构建主要依赖于这些元素之间显式的社会关系（如好友关系等）。社会多媒体场景中包含大量的多模态内容数据，这些内容数据之间包含着许多隐式的关系信息，这些关系信息对捕捉多模态内容的语义具有宝贵的价值。与社会元素之间显式关系不同，原始数据中一般不包含对隐式关系的描述，一般我们需要通过额外的方法（如统计等）来建模多模态内容数据之间包含的隐式关系。另外，由于下游机器学习模型的复杂性，如何设计合理的网络表示学习方法以学习适合下游应用的多模态内容表示也是问题的重点之一。因此，在社会多媒体场景中利用网络表示学习来解决多模态内容的表示学习问题具有重要的研究意义。1.2研究内容图1.2研究内容Fig1.2ResearchFramework.如图1.2所示，针对社会多媒体网络所面临的稀疏性、异构性和多模态性，我们研究了社会多媒体异构多模态网络表示学习方法。另外，针对网络表示学习在具体社会多媒体场景（多模态社区问答）中面临的问题，我们提出了面向多模态社区问答匹配的异构网络表示学习方法和基于网络表示学习的多模态社区问答内容层次语义匹配方法。1.2.1社会多媒体异构多模态网络表示学习针对社会多媒体网络数据的异构性、稀疏性和多模态性，提出一种基于注意力协同的多模态异构网络表示学习模型A2CMHNE。（1）为了解决网络的异构性，

合肥工业大学博士学位论文16图3.1A2CMHNE的总体框架图Fig.3.1TheOverallFrameworkofA2CMHNE.3.3.3基于异构网络结构的节点表示学习方法我们设计了一种基于元路径的方法来应对网络的异构性，以捕捉结构中的隐式信息。首先我们先给出元路径和元路径邻节点的定义。元路径：元路径是由边连接的节点序列，其中每个节点的类型由预定义的元路径模式决定。正式地说，一个长度为的元路径mp的可以被表示为一个节点序列1→2→...→，路径中相邻的节点在网络中也相邻，另外每个节点的类型由元路径模式mps指定。元路径模式可以被表示为1→2→...→，其中规定了元路径中第i个节点的类型。以图3.2为例，元路径模式DADM(Document-Author-Document-Media)约束了路径中4个节点的类型必须为“文档节点→作者节点→文档节点→媒体节点”。元路径邻节点：给定一个被元路径模式mps约束的元路径1→2→...→，我们定义路径的尾节点为头结点1在元路径模式mps下的元路径邻节点。元路径可以捕捉元路径邻节点之间的隐式关系信息。元路径可以有效地捕捉异构网络中隐式的关系信息。例如在图3.2中，Doc1节点是Doc2节点在元路径模式DAD（文档-作者-文档）下的元路径邻节点，它可以捕捉文档之间的共同作者关系。因此，如图3.2所示，我们在元路径邻节点之间构建虚拟的边（虚线表示的边），以表示它们之间的隐式关系。显然，这些元路径之间虚拟的边可以丰富异构网络中节点的关系信息。对于不同的任务，我


本文编号：3062221