基于语义的交互式图像检索

发布时间：2020-05-05 12:57

【摘要】：随着对图像检索技术研究的深入,其应用范围愈加广泛。图像检索与深度学习以及交互式技术相结合逐渐成为研究热点。目前,针对特定数据集的图像检索技术依然存在诸多待改进之处。例如,提升图像的分割效果、抽取特定数据的特征以及有效利用用户反馈。本课题主要针对手机/相机拍摄的皮肤病图像的检索进行研究,通过引入迁移学习、相关反馈等方法,来获得更好的检索结果。本文针对色素性皮肤病数据进行图像分割、分类与检索,主要的研究内容和成果如下:1.引入用户意愿,利用DeepMask交互式分割算法对皮肤病图像进行有效分割。利用DeepMask训练皮肤病图像的分割掩膜,通过用户点击操作更新掩膜的权值,获得用户满意的目标区域。2.利用迁移学习对手机/相机拍摄皮肤病小数据集图像进行分类。通过大规模的同类数据集预先训练InceptionV3模型,获得初始参数,再微调该模型完成皮肤病图像的多分类,获得图像的语义标签。对不同的微调方式进行对比研究,得到适合皮肤病数据集的解决方案。3.提出了基于深度学习与SVM相关反馈结合的交互式检索算法。传统特征提取方式无法很好地描述皮肤病图像的特征,本文利用卷积神经网络进行图像特征提取,并通过基于SVM的相关反馈算法来不断学习用户的检索意图,优化检索结果。4.构建了一种基于用户反馈次数的交互式检索算法评价模型。通过度量用户的交互次数来评价交互式检索算法的性能,能够更好地衡量算法对用户反馈的敏感程度。
【图文】：

第三章 基于 DeepMask 的交互式图像分割1）这个图像块包含一个大致处于中间位置的物体2）物体在一定尺度范围内是全部包含在这个图像块中DeepMask 利用了 ImageNet 上预训练好的 VGG-A 模型来初始化网络，，原网络结构包含 8 个 3*3 卷积层，5 个 2*2 的最大池化层以及 3 个全连接层。与 VGG-A模型不同的是去掉了最后的三个全连接层和最后一个池化层，用来更好地利用卷积特征映射中的空间信息。由于网络需要完成输出掩膜并给出图像块中包含物体的概率分数，在调整后的网络后面会接两个并列的分支网络分别做分割和打分。其结构如图 3-1 所示。

图 3-2 初次标记后分割效果 图 3-3 再次标记后分割效果3.3.3 算法流程1. 模型训练：训练修改后的 VGG 网络，获得图像的若干个分割掩膜。2. 初始化参数：提取 200 个掩膜，初始化掩膜及其权重。3. 用户交互：用户使用点击图像边缘的方式来标记图像的前景和背景。对于标记为前景的掩膜，通过形态学膨胀的方式获得膨胀掩膜，并更新掩膜的权重。对于标记为背景的掩膜，权重设置为最小值。通过权值大小对掩膜进行排序，返回给用户权值最大的前几个掩膜图像。4. 输出结果：根据用户的交互重复步骤 3，直至用户获得满意的分割掩膜，最终输出分割结果。算法流程图如 3-4 所示。
【学位授予单位】：电子科技大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：R-05;TP391.41

【相似文献】

相关期刊论文 前10条

1 陈涛;;基于多示例学习的图像检索方法[J];网络安全技术与应用;2019年04期

2 乐艺;;基于机器学习的大规模船舶图像检索机制[J];舰船科学技术;2019年18期

3 方恩亮;细胞分裂方式图像检索[J];中学生物教学;1996年02期

4 冀振燕;姚伟娜;皮怀雨;;个性化图像检索和推荐[J];北京邮电大学学报;2017年03期

5 何岩;;以计算机为基础的色彩图像检索方法与研究[J];计算机光盘软件与应用;2013年12期

6 陈雅芳;;基于颜色特征与纹理特征的图像检索[J];硅谷;2012年06期

7 张丽丽;刘昌余;;基于盲取证的医学图像检索及语义表达研究综述[J];电脑知识与技术;2012年22期

8 曹梅;;网络图像检索行为与心理研究[J];中国图书馆学报;2011年05期

9 崔文成;邵虹;;基于遗传算法的图像检索中特征权重自动调整[J];计算机工程与应用;2008年02期

10 聂桂军;周源;;图像检索研究进展[J];南京工业职业技术学院学报;2008年02期

相关会议论文 前10条

1 陈世亮;李战怀;闫剑锋;;一种基于本体描述的空间语义图像检索方法[A];第二十一届中国数据库学术会议论文集（技术报告篇）[C];2004年

2 王晗;滕鹏;梁玮;;使用稠密兴趣点包的非对称风景图像检索[A];第七届和谐人机环境联合学术会议（HHME2011)论文集【poster】[C];2011年

3 许天兵;;一种基于语义分类的图像检索方法[A];中国图象图形学会第十届全国图像图形学术会议（CIG’2001）和第一届全国虚拟现实技术研讨会（CVR’2001）论文集[C];2001年

4 周向东;张亮;张琪;刘莉;殷慷;施伯乐;;一种新的图像检索相关反馈方法[A];第十九届全国数据库学术会议论文集（研究报告篇）[C];2002年

5 李凌伟;周荣贵;刘怡;;基于概念的图像检索方法[A];第十九届全国数据库学术会议论文集（技术报告篇）[C];2002年

6 朱远清;李才伟;;一种基于前景与背景划分的区域图像检索方法及实现[A];第十三届全国图象图形学学术会议论文集[C];2006年

7 彭瑜;乔奇峰;魏昆娟;;基于多示例学习的图像检索方法[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年

8 胡敬;武港山;;基于语义特征的风景图像检索[A];2009年研究生学术交流会通信与信息技术论文集[C];2009年

9 王云鹤;史淼晶;许超;;基于流形聚类的图像检索方法[A];第七届全国信号和智能信息处理与应用学术会议会刊[C];2013年

10 张世佳;黄鑫;王衡;汪国平;;一种基于综合区域比较的图像检索方法[A];第一届建立和谐人机环境联合学术会议（HHME2005）论文集[C];2005年

相关重要报纸文章 前1条

1 ;图像检索新技术[N];中国知识产权报;2000年

相关博士学位论文 前10条

1 李莹;图像检索中的特征表达与排序研究[D];大连理工大学;2019年

2 周菊香;图像检索中的特征表达和相似性度量方法研究[D];大连理工大学;2019年

3 刘若愚;图像检索中的特征学习和索引技术研究[D];北京交通大学;2019年

4 田星;动态环境下的图像检索问题研究[D];华南理工大学;2019年

5 周容;基于轮廓的图像检索研究[D];上海交通大学;2016年

6 于来行;基于视觉注意模型的图像检索方法研究[D];大连理工大学;2018年

7 苏雯;语义分割及其在图像检索中的应用[D];中国科学技术大学;2018年

8 张宪林;基于草图的图像检索关键技术研究[D];北京邮电大学;2019年

9 李珂;基于草图的精细图像检索[D];北京邮电大学;2019年

10 苏琨;手指静脉图像检索与融合识别方法研究[D];山东大学;2019年

相关硕士学位论文 前10条

1 王一霄;基于深度学习的图像检索研究[D];电子科技大学;2019年

2 王培雷;基于残差网络的多标签图像检索方法研究[D];桂林电子科技大学;2019年

3 王娟;基于社会化标签和显著性区域的深度学习图像检索方法[D];西北大学;2019年

4 赵恒川;基于语义的交互式图像检索[D];电子科技大学;2019年

5 艾妮;图像检索中局部特征聚合的研究[D];吉林大学;2019年

6 苗壮;熵在图像检索领域的应用算法研究[D];吉林大学;2019年

7 郭慧俐;面向区域表达的实例检索方法研究[D];吉林大学;2019年

8 杜安钰;基于隐私保护的多特征图像检索算法研究[D];新疆大学;2019年

9 陈建华;基于多特征融合与LSH的密文图像检索研究[D];中南林业科技大学;2019年

10 吕明;基于多特征编码的图像检索[D];河南大学;2019年

本文编号：2650179