基于卷积神经网络和相关性的跨媒体检索方法研究

发布时间：2025-01-17 11:59

　　在后互联网时代,数据变得复杂和繁多,为了满足人们对信息多样化的需求,多媒体技术成为许多学者研究的重点。在面对这些不同模态的海量数据时,实现跨媒体检索技术准确率的提高,能够使人们对事物的认识更加全面而深刻。在跨媒体检索技术中,本文重点对图像和文本间的相互检索进行研究。针对传统卷积神经网络模型的不足,耗费很多的时间和计算量,且在数据集较小的情况下不能很好地提取图像特征问题,对Inception V3模型进行改进。利用Incpetion V3在ImageNet上预训练的模型,初始化所有的权值,移除该模型的最顶部的全连接层,然后将模型剩余的层次结构看成是一个固定特征提取器,提取本文所用图像数据集的特征,把提取的特征通过softmax函数再训练一个本文的10类分类器。直接把分类器当成图像的特征提取器来进行跨媒体检索。通过迁移学习训练的Inception V3卷积神经网络模型提取图像特征命名为Inception V3_TL。针对图像文本两种模态在底层空间异构的问题,典型相关性分析与多类逻辑回归相结合方法不能很好地挖掘跨媒体数据中的复杂相关关系问题。在Inception V3

【文章页数】：60 页

【学位级别】：硕士

【部分图文】：

图2.1跨媒

6第2章跨媒体检索的相关方法随着网络的发展，人们在生活和工作中接触到各种各样的数据。这些数据以多种媒体形式共存。人们使用互联网时，这些不同模态的数据充斥着人们的视觉与感官，使人们获得的信息更加丰富而全面。人类大脑在获取外界信息的过程中，必须要结合于多个感官的合作，每个感官获取的信....

图2.2gamma校正图像亮度Fig.2.2GammacorrectionimagebrightnessT

第2章跨媒体检索的相关方法92.1.2HOG算法原理HOG属于局部特征概述算法，对图像的外观以及形状可以实现很好的描述。该算法也广泛应用于计算机视觉和图像处理领域，如在行人检测方面进行应用。行人表情出现了变化，依托于HOG算子来对面部器官的边缘形状进行检测，此时也就可以实现对表情....

图2.4sigmoid函数Fig.2.4sigmoidfunctionsigmoid函数在实际操作中作为激活函数，在这种情况下神经元的输出y则为：

第2章跨媒体检索的相关方法11Y获得的总刺激在此次课题研究中我们主要将其视为前层各神经元刺激加权和，权重在此次课题研究中我们主要将其视为神经元与神经元间关系的密切程度。这样就可以进行以下推断：=∑=0（2.7）对于末端神经元所遭受刺激加权和来讲，一般情况下其“工整”度并不好，此时....

图3.2AlexNet网络结构

第3章基于卷积神经网络的跨媒体检索方法29图3.2AlexNet网络结构Fig.3.2AlexNetnetworkstructure3.2.2VGGNet2014年，VGG和谷歌共同研发出了VGGNet[35]。ILSVRC比赛中，这一模型在分类项目中得到了第二名的成绩，在定位项....

本文编号：4028032