融合多视角信息和互补哈希表的海量图像近邻搜索

发布时间：2020-05-27 02:24

【摘要】：人工智能技术的发展与大数据分析技术息息相关,图像数据是大数据中的重要构成部分,因此对图像数据的处理和挖掘变得越来越重要。在图像数据处理和挖掘的众多迫切需求中,近邻搜索是一个基础的、广泛的需求,工业界和学术界的许多问题都需要一个快速、准确的图像近邻搜索算法。本文研究的问题是无标签情况下,海量图像上的快速近邻搜索。近年来,由于哈希在存储和检索效率两方面的优势,利用哈希技术解决快速近邻搜索问题已被广泛认可,已有的基于哈希的近邻搜索技术可分为数据独立的方法和数据依赖的方法两类。数据依赖的方法属于数据驱动的一类方法,它适应的从数据中学习哈希函数,从而能产生更加紧凑的哈希码,因此该类方法已成为解决海量数据近邻搜索问题的主流方法。数据依赖的哈希方法大多依赖样本相似度学习哈希函数。在数据有标签的情况下,样本相似度可以通过标签信息准确获得,但无标签时,该相似度则需要通过样本在特征空间的距离近似得到。对于现实世界中的图像,由于光照、遮挡、形变等因素的影响,从特征空间估计的相似度矩阵会存在偏差,从而影响哈希函数的学习。本文结合多视角学习中的相关理论和技术,提出了一种融合多视角信息和互补哈希表的海量图像近邻搜索方法。本文贡献总结如下:(1)考虑到多视角数据在嵌入空间的一致性,提出了一种近邻融合的多视角融合方式;(2)基于近邻融合的多视角数据融合方式,从多视角数据中提取邻居置信度和相似度排序两种信息,并将其作为指导线索用于哈希表的学习过程;(3)考虑到图像海量的特点,结合互补哈希表在海量数据检索中的优势,提出了一种融合多视角信息和互补哈希表的海量图像近邻搜索算法,提高了无监督情景下,海量图像近邻搜索问题的性能;(4)本文提出的算法在NUS-WIDE,CIFAR-10和MNIST三个公开数据集上进行了评估,实验结果表明了本文方法的有效性。
【图文】：

了人们的生活。大数据无疑是智能技术研究的燃料及催化剂，，多样、海量的各类数据真实记录着人们生活的点滴，成为了当代最宝贵的资源之一。随着移动设备、城市联网监控系统及高清摄像头的不断普及，图像数据呈爆发式增长，图像数据早已成为大数据的重要组成部分。图像相比文本、语音等其他大数据形态，具有更明显的高维特性、更强的语义性，需要更多的存储空间和计算资源。一组来自行业调查公司 HIS Marki 最新数据显示，中国在公共和私人领域（包括机场、火车站和街道）共装有 1.76 亿个监控摄像头1，而一个部署 1 104个标清摄像头的中等城市每天产生的图像数据量约为 172.81012B(172.8TB)，每个月产生的图像数据量约为 5.184 1015B（约 5.184PB）。视频分享网站产生的数据量同样巨大，据统计，YouTube 网站上每分钟产生图像数据量约 15.141015B(15.14PB)，且以标清图像估算[1]。与此同时，海量图像数据还普遍呈现出标签缺失、带有噪声等问题。社交网络如微博、微信、Facebook 和抖音小视频等上的图像或图像序列多来源于人们在生活中的拍摄，它们相比研究领域构建的数据集，图像质量无法得到保证，且带有明显的语义。图像数据的现状可以总结为图 1-1。

分场景已在实际中实现，图 1-2 给出了一些应用场景实例。海量图像上的近邻搜索对人类社会的生产和生活具有十分重要的意义。(a)车辆搜索 (b)以图搜图2(c)由简笔画生成场景[3]图 1-2 图像近邻搜索应用场景实例2http://pic.sogou.com/
【学位授予单位】：华南理工大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP391.41;TP18

【相似文献】

相关期刊论文 前10条

1 张伟;许海洋;周百顺;;多进程共享的高效哈希表[J];计算机工程与设计;2017年05期

2 强凌龙;张瑞生;;基于分布式哈希表的网格资源定位框架的研究与设计[J];甘肃科技;2010年02期

3 刘冠福;;动态哈希表的设计及应用[J];计算机时代;1996年02期

4 李学峰;;利用分布式哈希表构建带副本的检查点[J];小型微型计算机系统;2011年08期

5 张蒙;康建荣;贾莹媛;刘翘楚;;基于二维哈希表的海量高程点数据去重算法设计[J];测绘科学;2013年06期

6 熊芳;李莹峰;;DHT原理及功能探讨[J];长沙大学学报;2008年02期

7 张勇,雷振明;一种硬件哈希表压缩方法及其性能研究[J];重庆邮电学院学报(自然科学版);2004年01期

8 王芳;高玲t ;郑明春;;基于局部性的分布式哈希表资源定位技术[J];计算机应用;2006年03期

9 耿_g;白涛;;哈希方法在生物信息学研究中的应用探讨[J];中国管理信息化;2018年12期

10 史长琼;张理阳;赵凯;;哈希表动态负载平衡策略的优化[J];长沙理工大学学报(自然科学版);2010年01期

相关会议论文 前6条

1 赵竞;余宏亮;张X;郑纬民;;广域网分布式哈希表存储副本可靠性的维护[A];全国网络与信息安全技术研讨会论文集（下册）[C];2007年

2 梁克;;对等网络技术的研究[A];江苏省通信学会2004年学术年会论文集[C];2004年

3 朱芳芳;李训根;;改进的哈希表查找算法[A];浙江省电子学会2013学术年会论文集[C];2013年

4 范纪松;武欣嵘;;基于P2P的分布式哈希表算法优化分析[A];中国电子学会第十五届信息论学术年会暨第一届全国网络编码学术年会论文集（上册）[C];2008年

5 袁锦绣;钱雪忠;汪锦岭;;一种基于位置和DHT的移动ad hoc网络服务发现方案[A];2006年全国开放式分布与并行计算学术会议论文集（一）[C];2006年

6 王伟彦;张博;王晓玲;周傲英;;Hash-Search:基于哈希表的快速XML关键字检索算法[A];第二十五届中国数据库学术会议论文集（一）[C];2008年

相关博士学位论文 前7条

1 王笛;面向多媒体内容最近邻搜索的哈希学习方法[D];西安电子科技大学;2016年

2 陈志文;多核系统并发哈希表研究[D];湖南大学;2018年

3 金仲明;基于哈希算法的海量多媒体数据检索研究[D];浙江大学;2015年

4 潘恬;支持快速启动和协议识别的路由器线卡的研究[D];清华大学;2015年

5 彭建章;非阻塞算法与多进程网络程序优化研究[D];中国科学技术大学;2013年

6 陈汉华;基于对等网络的大地规模内容检索研究[D];华中科技大学;2010年

7 周金红;大规模图计算系统关键技术研究[D];中国科学技术大学;2017年

相关硕士学位论文 前10条

1 亓海凤;面向检索的视频哈希性能优化研究[D];山东大学;2018年

2 毛婷伟;融合多视角信息和互补哈希表的海量图像近邻搜索[D];华南理工大学;2018年

3 何军;利用哈希加速基于CNN视觉特征的图像检索[D];合肥工业大学;2017年

4 谭春强;基于深度哈希的大规模人脸图像检索研究[D];电子科技大学;2018年

5 胡孟秋;基于哈希码学习的图像检索算法研究[D];电子科技大学;2018年

6 齐恒;基于深度哈希学习算法的移动视觉检索系统设计与实现[D];北京邮电大学;2018年

7 吴昊;哈希表在数据采集系统中的应用与优化[D];北京邮电大学;2017年

8 刘彦龙;基于流过滤的防火墙关键技术研究[D];哈尔滨工程大学;2014年

9 赵秦敏;基于哈希编码的图像检索算法研究[D];电子科技大学;2017年

10 刘盛英杰;定向多探头随机超平面局部敏感哈希[D];华中师范大学;2017年

本文编号：2682797