基于深度典型相关分析的跨媒体语义挖掘研究

发布时间：2021-12-10 21:59

　　从九十年代的门户网站时代,历经各种发展,到当下的大数据时代,多媒体研究被赋予了越来越大的科学、社会和商业价值。如何最大化挖掘不同类型的媒体信息中所蕴含的隐藏信息,显得尤为重要。克服不同媒体之间的语义鸿沟,完成不同媒体之间的语义挖掘,一般需要先将不同维度的媒体映射到一个公共的媒体空间中去。现有的基于典型相关分析、核典型相关分析、深度典型相关分析等跨媒体语义挖掘方法,仅利用了不同媒体之间的相关特征,但是忽略了媒体样本自身所带的语义信息,并且没有利用数据的标签信息,仅仅通过无监督学习完成语义挖掘,这不仅不利于理解媒体本身的所表达的意义,也限制了多种媒体数据之间的语义理解。为了解决上述问题,本文在深度典型相关分析的基础上,提出深度语义典型相关分析算法。通过在其损失函数中引入媒体数据关于类别的语义信息,获得同时包含相关信息和语义信息的特征。提出组合语义空间算法,利用逻辑斯蒂回归,对各种媒体数据进行分类,获得类别特征,在深度语义典型相关分析算法的基础上构建组合语义空间,进一步挖掘媒体数据所包含的语义信息。本文利用跨媒体检索的效果来验证算法的有效性。在两个权威的跨媒体数据集上将本文提出的深度语义典型... 

【文章来源】：武汉科技大学湖北省

【文章页数】：57 页

【学位级别】：硕士

【部分图文】：

CMDN算法流程图

验数据集选用两个标准的跨媒体数据集来完成在文本、图像数据上的语义挖 Wikipedia 数据集、Xmedia 数据集。ipedia 数据集，该数据集是从收集的 2700 篇“专题文章”中挑选出来 29 类，Wikipedia 数据集由其中最热门的前 10 类组成。每篇文章都个来自维基百科的图片。根据章节的标题，每篇文章被分成几个章料库包含总共 2866 个文档，并且被随机分成 2173 个文档的训练集和测试集。edia 数据集，该数据集由 5000 个文本、5000 个图像、500 个视频、 500 个 3D 模型组成。所有的媒体数据都是从互联网网站上抓取的，，YouTube，自由之声，3D 仓库和普林斯顿 3D 模型搜索引擎等等。织成 20 个类别，每个类别有 600 个媒体数据，并且随机分成 9600训练集和 2400 个媒体数据的测试集。本文在实验过程中只用到了其本数据。

XMedia数据集前10个类别

【参考文献】：
期刊论文
[1]基于图结构的文本表示方法研究[J]. 任浩,罗森林,潘丽敏,高君丰.  信息网络安全. 2017(03)
[2]采用空间词袋模型的图像分类方法[J]. 陈莹,高含.  小型微型计算机系统. 2016(09)
[3]应用图学习算法的跨媒体相关模型图像语义标注[J]. 李玲,宋莹玮,杨秀华,陈逸杰.  光学精密工程. 2016(01)
[4]利用深度玻尔兹曼机与典型相关分析的自动图像标注算法[J]. 刘凯,张立民,孙永威,林雪原.  西安交通大学学报. 2015(06)
[5]核典型相关分析算法的多特征融合情感识别[J]. 刘付民,张治斌,沈记全.  计算机工程与应用. 2014(09)
[6]方向梯度直方图及其扩展[J]. 傅红普,邹北骥.  计算机工程. 2013(05)
[7]局部二值模式方法研究与展望[J]. 宋克臣,颜云辉,陈文辉,张旭.  自动化学报. 2013(06)
[8]一种结合词项语义信息和TF-IDF方法的文本相似度量方法[J]. 黄承慧,印鉴,侯昉.  计算机学报. 2011(05)
[9]光照不均图像增强方法综述[J]. 梁琳,何卫平,雷蕾,张维,王红霄.  计算机应用研究. 2010(05)
[10]基于语义的跨媒体信息检索技术研究[J]. 蔡平,王志强,傅向华.  微电子学与计算机. 2010(03)

硕士论文
[1]基于布尔模型的网页查重算法研究[D]. 连浩.中国科学院研究生院（计算技术研究所） 2006



本文编号：3533465