基于深度学习的图像语义提取与图像检索技术研究

发布时间：2017-06-08 17:10

  本文关键词：基于深度学习的图像语义提取与图像检索技术研究，，由笔耕文化传播整理发布。

【摘要】：随着移动互联网技术的飞速发展和智能手机广泛普及,用户每天都会上传分享海量的图像。如何让用户在海量的数据中准确地找到自己真正需要的信息,让企业有效地整合其庞大的图像数据资源,是当前很重要的研究课题。然而,传统的基于内容的图像检索技术是基于图像底层视觉特征的,和人对图像的认知存在着巨大的“语义鸿沟”问题。因此,为了解决“语义鸿沟”问题而提出的基于语义的图像检索成为图像检索领域中急需解决的关键问题之一。深度学习是在借鉴人脑视觉机制的基础上发展起来的,和人脑视觉机制一样,也是逐层迭代、逐层抽象的过程。深度学习最大的优势是可以自主学习图像特征,从最底层的方向边缘特征到物体结构特征直至更抽象的特征。针对语义鸿沟问题,本论文基于深度学习理论,构建一个从图像底层视觉特征到高级语义特征逐层迭代、逐层抽象的深度网络映射模型,旨在减小语义鸿沟,得到图像语义特征提取系统,并深入研究图像语义相似性度量,为大规模图像自动标注提供良好的基础,实现基于语义的图像检索技术,真正有效地利用海量的图像信息资源。本论文的主要工作如下:(1)针对图像检索中语义鸿沟问题,将深度学习应用到图像语义特征提取中,构建图像底层视觉特征到高级语义特征逐层迭代、逐层抽象的映射模型。(2)针对标签数据资源有限、无法支撑起深度网络训练的现实情况,提出了一种无监督的深度学习算法。先利用稀疏降噪自动编码器无监督地学习得到卷积核(对应于视觉机制中的感受野),然后利用迁移学习理论,把学习得到的卷积核传递给卷积神经网络。对于卷积核的个数和池化尺度对于图像分类准确率的影响做了深入研究。同时,采取了多级分类器级联的方法来提高分类准确率。若移除最后分类器模块,则可以把其当成一个图像语义特征提取器,根据图像相似性度量方法,可以得到各图像之间的相似度,实现快速图像检索。(3)基于深度学习理论,提出了一种朴素的基于深度学习的图像标注方法。利用训练好的深度卷积神经网络提取待标注图像的语义特征,然后利用相似性度量得到基准库中最相近一些的图像,根据这些图像的自带标签对待标注图像进行语义标注。在综合考虑加大网络深度能够提高网络抽象能力和随之带来的“梯度弥散”问题上,结合现有的数据集,在深度卷积神经网络中引入了多级特征级联的方式,从而提高系统的鲁棒性,提高语义标注的准确率。(4)最后,根据上面的研究设计了一个基于深度学习的图像语义提取和检索的原型系统。
【关键词】：深度学习 图像语义 图像检索 图像标注 多分类器级联
【学位授予单位】：东华大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP391.41
【目录】：

• 摘要5-7
• ABSTRACT7-11
• 第一章 绪论11-20
• 1.1 研究目的与意义11-12
• 1.2 国内外研究现状12-17
• 1.2.1 语义模型的研究12-13
• 1.2.2 解决语义鸿沟的现有方向13-14
• 1.2.3 传统的图像特征提取14
• 1.2.4 图像语义提取方法14-16
• 1.2.5 深度学习的研究与应用16-17
• 1.3 主要研究内容和创新点17-18
• 1.4 论文的章节安排18-20
• 第二章 基于语义的图像检索系统与深度学习理论研究20-33
• 2.1 引言20
• 2.2 基于语义的图像检索系统20-21
• 2.3 图像语义层次模型和深度模型的类比21-23
• 2.4 相似性度量23-25
• 2.5 检索系统性能评价标准25
• 2.6 深度学习原理25-31
• 2.6.1 栈式自动编码算法26-29
• 2.6.2 卷积神经网络29-30
• 2.6.3 Softmax回归模型30-31
• 2.7 深度网络的训练31-32
• 2.7.1 深度网络训练的难点31
• 2.7.2 逐层贪婪训练方法31-32
• 2.8 小结32-33
• 第三章 多级级联深度前馈卷积稀疏降噪自动编码算法33-48
• 3.1 引言33-34
• 3.2 深度学习网络架构34-35
• 3.3 深度学习网络中的算法35-38
• 3.3.1 稀疏降噪自动编码器自我学习特征35-37
• 3.3.2 卷积37
• 3.3.3 池化37
• 3.3.4 多级级联分类器37-38
• 3.4 多级级联深度前馈卷积稀疏降噪自动编码算法在图像分类上应用38-47
• 3.4.1 STL-10图像数据集38-39
• 3.4.2 单层网络下无监督特征学习的性能分析39-45
• 3.4.3 在STL-10数据集上的实验结果45-47
• 3.5 小结47-48
• 第四章 基于深度学习的图像检索系统设计及测试结果与分析48-58
• 4.1 引言48
• 4.2 运行环境48-49
• 4.2.1 硬件环境48-49
• 4.2.2 软件环境49
• 4.3 基于深度学习的图像检索系统设计49-51
• 4.3.1 软件框架图结构49-50
• 4.3.2 软件界面50-51
• 4.4 基于深度学习的图像检索系统测试51-57
• 4.4.1 基于深度学习的图像分类模块测试51-54
• 4.4.2 基于深度学习的图像检索模块测试54-57
• 4.5 小结57-58
• 第五章 基于深度学习和搜索的图像标注算法58-68
• 5.1 引言58-59
• 5.2 图像数据集构建59
• 5.3 深度卷积神经网络构建和训练59-62
• 5.3.1 构建训练集59-60
• 5.3.2 朴素深度卷积神经网络并训练60-61
• 5.3.3 特征级联深度卷积神经网络并训练61-62
• 5.4 图像数据集语义特征提取62
• 5.5 利用语义特征进行相似图像检索62-63
• 5.6 候选图像语义标注的合并63
• 5.6.1 K-NN思想63
• 5.6.2 相似度因子63
• 5.7 图像标注实验结果与分析63-67
• 5.7.1 评价方法64
• 5.7.2 在Corel5K数据集上的结果64-67
• 5.8 小结67-68
• 第六章 总结与展望68-70
• 6.1 总结68-69
• 6.2 展望69-70
• 参考文献70-76
• 致谢76-78
• 附录：攻读硕士期间参加的项目及成果78

【相似文献】

中国期刊全文数据库 前10条

1 李倩倩;阳爱民;李心广;;图像语义的图形化标注和检索研究[J];计算机应用与软件;2008年12期

2 时慧琨;;一种利用用户反馈日志获取图像语义标注方法[J];通化师范学院学报;2010年12期

3 郭海凤;张盈盈;李广水;韩立新;;基于社会网络的图像语义获取研究综述[J];计算机与现代化;2014年01期

4 石跃祥;朱东辉;蔡自兴;B.Benhabib;;图像语义特征的抽取方法及其应用[J];计算机工程;2007年19期

5 孙季丰;袁春林;邱卫东;余英林;;一个具有图像语义的物体分类系统的实现[J];科学技术与工程;2008年03期

6 王妍宁;郭雷;方俊;;一种新的图像语义自动标注模型[J];计算机工程与应用;2011年07期

7 李晓雅;;浅析计算机图像语义的识别应用技术[J];知识经济;2012年09期

8 李大湘;赵小强;李娜;;图像语义分析的多示例学习算法综述[J];控制与决策;2013年04期

9 林春漪;马丽红;尹俊勋;陈建宇;;基于多层贝叶斯网络的医学图像语义建模[J];生物医学工程学杂志;2009年02期

10 魏晗;李弼程;张瑞杰;唐永旺;;图像语义提取方法研究[J];现代电子技术;2011年24期

中国重要会议论文全文数据库 前3条

1 张杨;房斌;徐传运;;基于本体和描述逻辑的图像语义识别[A];全国第20届计算机技术与应用学术会议（CACIS·2009）暨全国第1届安全关键技术与应用学术会议论文集（上册）[C];2009年

2 叶剑烨;谢祖铭;周向东;张亮;施伯乐;;一种新的图像语义自动标注方法[A];第二十一届中国数据库学术会议论文集（研究报告篇）[C];2004年

3 王伟强;付立波;高文;黄庆明;蒋树强;;一种基于笔画特征的叠加文字检测方法[A];全国网络与信息安全技术研讨会论文集（下册）[C];2007年

中国博士学位论文全文数据库 前7条

1 陈久军;基于统计学习的图像语义挖掘研究[D];浙江大学;2006年

2 于永新;基于本体的图像语义识别和检索研究[D];天津大学;2009年

3 李晓燕;海量图像语义分析和检索技术研究[D];浙江大学;2009年

4 林春漪;基于混合贝叶斯网络的医学图像语义建模及其检索的研究[D];华南理工大学;2006年

5 许红涛;Web图像语义分析与自动标注研究[D];复旦大学;2009年

6 鲍泓;基于视觉感知的中国画图像语义自动分类研究[D];北京交通大学;2012年

7 王梅;基于多标签学习的图像语义自动标注研究[D];复旦大学;2008年

中国硕士学位论文全文数据库 前10条

1 甄健华;图像语义自动标注过程研究[D];河北师范大学;2015年

2 杨雪;基于纹理基元块的图像语义分割[D];西南科技大学;2015年

3 张智慧;基于本体的图像语义检索研究[D];西南科技大学;2015年

4 高瞰;社会化媒体中的图像语义理解[D];华北电力大学;2015年

5 王行行;面向检索的鞋底花纹图像语义表达算法研究[D];大连海事大学;2015年

6 罗世操;基于深度学习的图像语义提取与图像检索技术研究[D];东华大学;2016年

7 刘先明;互联网图像语义表达规律分析及主题发现[D];哈尔滨工业大学;2010年

8 王小蕾;基于上下文的社交图像语义信息的精化与丰富[D];华北电力大学;2012年

9 卢祖友;图像语义标注方法研究及其系统实现[D];电子科技大学;2009年

10 李冰季;基于线条和结构模块识别的图像语义识别方法[D];华中师范大学;2014年

  本文关键词：基于深度学习的图像语义提取与图像检索技术研究，由笔耕文化传播整理发布。

本文编号：433181