基于相关性分析和结构保持的跨模态检索研究
发布时间：2021-07-14 12:19
随着互联网技术的发展和智能设备的普及,多模态数据出现了大规模的增长,跨模态检索也引起越来越多的关注。跨模态检索是指利用一种模态的查询数据检索与其语义相关的另一种模态的数据,比如用文本检索与其语义相关的图像,以及用图像检索与其语义相关的文本。由于不同模态的数据的特征维度不同,无法直接进行相似性度量,因此存在异构鸿沟问题。任一种模态数据的底层特征表示和高层语义之间也存在着语义鸿沟问题。为了克服异构鸿沟和语义鸿沟这两个难题,近年来产生了很多跨模态检索方法,如基于子空间学习的方法、基于哈希学习的方法、基于字典学习的方法以及基于深度学习的方法等等。这些方法的本质都是学习一个共同的空间,并保证多模态数据投影到共同空间后尽可能地保持不同模态数据之间的相关性和任一种模态数据的结构性。本文主要通过基于子空间学习的方法和基于深度哈希的方法对基于相关性分析和结构保持的跨模态检索进行了研究,主要工作和贡献总结如下:1.提出了一种基于多模态图正则化和类中心判别分析的跨模态检索（Multi-modal graph regularization based Class Center Discriminant ana...
【文章来源】：山东师范大学山东省
【文章页数】：118 页
【学位级别】：博士
【部分图文】：
不同模态的数据
山东师范大学博士学位论文61.3论文的主要研究内容本文主要通过基于子空间学习的方法和基于深度哈希的方法对基于相关性分析和结构保持的跨模态检索进行了深入研究，主要研究流程如图1-4所示。设计了四种新颖的跨模态检索算法，第一种是基于多模态图正则化和类中心判别分析的跨模态检索算法（第三章），第二种是基于监督图正则化和类内类间关联的跨模态检索算法（第四章），第三种是一种关联对齐的深度语义跨模态哈希算法（第五章），第四种是一种基于特定模态相似性保持的深度跨模态哈希算法（第六章），其中前两种是基于子空间学习的跨模态检索方法，后两种是基于深度哈希的跨模态检索方法。图1-4本文的主要研究流程1.提出了一种基于多模态图正则化和类中心判别分析的跨模态检索（Multi-modalgraphregularizationbasedClassCenterDiscriminantanalysisforCrossmodalRetrieval，简称CCDCR）算法。为了缓解异构鸿沟和语义鸿沟问题，该模型不仅对训练样本进行内容相关性分析和语义相关性分析，还对类中心样本进行内容相关性分析和语义相关性分析。为了保证多模态数据在投影到共同子空间后其相似关系保持不变从而进一步提高检索精度，该模型不仅用全部的图-文样本构建模态间相似图，还用类中心样本构建模态内相似图和模态间相似图。由全部的图-文样本构建的模态间相似图保证了图-文对投影后的语义关系不变，由类中心样本构建的模态内相似图和模态间相似图保持了数据的局部几何结构信息和全局几何结构信息，从而增强了模型的判别能力并进一步提高了检索精度。2.针对CCDCR算法在构建图模型时仅考虑了样本的近邻关系，而没有分别考虑同类样本的近邻关系和异类样本的近邻关系这一缺陷，提出了一种基于监督图正则化和类内类间关联的跨模态检索（Supervi
山东师范大学博士学位论文21图3-1简单的无向图在这里对本文采用的拉普拉斯特征映射（LaplacianEigenmaps，LE）降维方法做一个简要介绍：给定一个有n个顶点的无向图G(V,W)，其中V表示顶点，图中的每一个顶点代表一个数据，W表示图的相似度矩阵，每一条边的权值代表数据之间的相似程度，两个数据之间越相似则权值越大。图3-1所示为一个简单的无向图，图中各个数据点之间由相应的边来连接，通过使用一种度量方式（如欧式距离、高斯核函数等）来定义任意两个数据点i与数据点j之间的相似度（权值）ijw，从而得到对称的相似度矩阵ijWw。与任一数据点i邻接的所有边的相似度之和定义为该数据点的度1niiijjdw，由多个d构成了度矩阵D：1indDdd(3-1)拉普拉斯矩阵一般定义为LDW。此外，另外一种更为常用的拉普拉斯矩阵形式是规范化的拉普拉斯矩阵，定义为：1/21/2LIDWD，其中I为单位矩阵。拉普拉斯特征映射降维方法的目的是：在降维的同时保证两个相似的数据点i和数据点j在降维后的空间中也尽可能地相似（即距离尽可能地小），因此目标函数为：211minnnijijijffw(3-2)其中列向量if和jf为数据点i和数据点j降维后的特征表示。当公式3-2中ijw较大（即数据点i与数据点j在原空间中相似度较大）时，最小化公式3-2即惩罚ijff项，这使得数据点i与数据点j在降维后的空间中的距离尽可能地校又因为：2112tr()nnTijijijffwFLF(3-3)
【参考文献】：
期刊论文
[1]天然气企业产业升级模式研究[J]. 朱瑞崴,茹志鸿. 石油化工技术与经济. 2020(01)
[2]语义耦合相关的判别式跨模态哈希学习算法[J]. 严双咏,刘长红,江爱文,叶继华,王明文. 计算机学报. 2019(01)
[3]跨媒体语义共享子空间学习研究进展[J]. 张磊,赵耀,朱振峰. 计算机学报. 2017(06)
[4]辛开苦降法治疗溃疡性结肠炎临床研究[J]. 张则甫,靳淑红,崔利宏. 中医学报. 2016(04)
[5]一种基于内容相关性的跨媒体检索方法[J]. 张鸿,吴飞,庄越挺,陈建勋. 计算机学报. 2008(05)
博士论文
[1]基于深度学习的跨模态检索研究[D]. 冯方向.北京邮电大学 2015
[2]基于哈希算法的海量多媒体数据检索研究[D]. 金仲明.浙江大学 2015
硕士论文
[1]基于深度模型学习的跨模态检索[D]. 陈小平.北京邮电大学 2018
本文编号：3284135
【文章来源】：山东师范大学山东省
【文章页数】：118 页
【学位级别】：博士
【部分图文】：
不同模态的数据
山东师范大学博士学位论文61.3论文的主要研究内容本文主要通过基于子空间学习的方法和基于深度哈希的方法对基于相关性分析和结构保持的跨模态检索进行了深入研究，主要研究流程如图1-4所示。设计了四种新颖的跨模态检索算法，第一种是基于多模态图正则化和类中心判别分析的跨模态检索算法（第三章），第二种是基于监督图正则化和类内类间关联的跨模态检索算法（第四章），第三种是一种关联对齐的深度语义跨模态哈希算法（第五章），第四种是一种基于特定模态相似性保持的深度跨模态哈希算法（第六章），其中前两种是基于子空间学习的跨模态检索方法，后两种是基于深度哈希的跨模态检索方法。图1-4本文的主要研究流程1.提出了一种基于多模态图正则化和类中心判别分析的跨模态检索（Multi-modalgraphregularizationbasedClassCenterDiscriminantanalysisforCrossmodalRetrieval，简称CCDCR）算法。为了缓解异构鸿沟和语义鸿沟问题，该模型不仅对训练样本进行内容相关性分析和语义相关性分析，还对类中心样本进行内容相关性分析和语义相关性分析。为了保证多模态数据在投影到共同子空间后其相似关系保持不变从而进一步提高检索精度，该模型不仅用全部的图-文样本构建模态间相似图，还用类中心样本构建模态内相似图和模态间相似图。由全部的图-文样本构建的模态间相似图保证了图-文对投影后的语义关系不变，由类中心样本构建的模态内相似图和模态间相似图保持了数据的局部几何结构信息和全局几何结构信息，从而增强了模型的判别能力并进一步提高了检索精度。2.针对CCDCR算法在构建图模型时仅考虑了样本的近邻关系，而没有分别考虑同类样本的近邻关系和异类样本的近邻关系这一缺陷，提出了一种基于监督图正则化和类内类间关联的跨模态检索（Supervi
山东师范大学博士学位论文21图3-1简单的无向图在这里对本文采用的拉普拉斯特征映射（LaplacianEigenmaps，LE）降维方法做一个简要介绍：给定一个有n个顶点的无向图G(V,W)，其中V表示顶点，图中的每一个顶点代表一个数据，W表示图的相似度矩阵，每一条边的权值代表数据之间的相似程度，两个数据之间越相似则权值越大。图3-1所示为一个简单的无向图，图中各个数据点之间由相应的边来连接，通过使用一种度量方式（如欧式距离、高斯核函数等）来定义任意两个数据点i与数据点j之间的相似度（权值）ijw，从而得到对称的相似度矩阵ijWw。与任一数据点i邻接的所有边的相似度之和定义为该数据点的度1niiijjdw，由多个d构成了度矩阵D：1indDdd(3-1)拉普拉斯矩阵一般定义为LDW。此外，另外一种更为常用的拉普拉斯矩阵形式是规范化的拉普拉斯矩阵，定义为：1/21/2LIDWD，其中I为单位矩阵。拉普拉斯特征映射降维方法的目的是：在降维的同时保证两个相似的数据点i和数据点j在降维后的空间中也尽可能地相似（即距离尽可能地小），因此目标函数为：211minnnijijijffw(3-2)其中列向量if和jf为数据点i和数据点j降维后的特征表示。当公式3-2中ijw较大（即数据点i与数据点j在原空间中相似度较大）时，最小化公式3-2即惩罚ijff项，这使得数据点i与数据点j在降维后的空间中的距离尽可能地校又因为：2112tr()nnTijijijffwFLF(3-3)
【参考文献】：
期刊论文
[1]天然气企业产业升级模式研究[J]. 朱瑞崴,茹志鸿. 石油化工技术与经济. 2020(01)
[2]语义耦合相关的判别式跨模态哈希学习算法[J]. 严双咏,刘长红,江爱文,叶继华,王明文. 计算机学报. 2019(01)
[3]跨媒体语义共享子空间学习研究进展[J]. 张磊,赵耀,朱振峰. 计算机学报. 2017(06)
[4]辛开苦降法治疗溃疡性结肠炎临床研究[J]. 张则甫,靳淑红,崔利宏. 中医学报. 2016(04)
[5]一种基于内容相关性的跨媒体检索方法[J]. 张鸿,吴飞,庄越挺,陈建勋. 计算机学报. 2008(05)
博士论文
[1]基于深度学习的跨模态检索研究[D]. 冯方向.北京邮电大学 2015
[2]基于哈希算法的海量多媒体数据检索研究[D]. 金仲明.浙江大学 2015
硕士论文
[1]基于深度模型学习的跨模态检索[D]. 陈小平.北京邮电大学 2018
本文编号：3284135
本文链接：https://www.wllwen.com/shoufeilunwen/xxkjbs/3284135.html
