海量人脸图片存储和索引的研究

发布时间：2024-06-29 16:01

　　随着智慧城市的建设,人脸识别技术被应用在越来越多的场景中,其中对于怎样在海量的图片中进行人脸图片存储和快速检索更是重要的研究课题。目前分布式文件系统在存储系统中应用比较广泛,且多以HDFS、GFS等分布式文件系统为主,但是它们主要应用在大文件方面。对于图片的相似检索主要是基于内容的检索,而且是通过提取图片之间的特征向量进行距离计算从而衡量图片之间的相似度,但人脸图片的特征向量不仅复杂还多维,因而面对人脸图片这种复杂多维的特征向量如何设计高效的索引是重要的技术问题。本文首先深入剖析当今主流的分布式文件系统针对图片小文件存储技术的性能瓶颈以及分析非对称距离计算倒排索引机制(IVFADC)的原理后,提出针对性的解决方案。论文研究的内容有以下两点:1.本文分析当今主流的分布式文件系统的优缺点后采用FastDFS分布式文件存储系统作为海量人脸图片的存储,并设计图片的存储文件方案解决人脸图片小文件的大容量存储的问题,不仅有效地提升了海量人脸图片的存储速度,甚至设计的存储文件还充分的利用了FastDFS的存储空间。2.IVFADC是一个很好的将积量化,非对称距离计算和倒排索引融合在一起处理高维度的索...

【文章页数】：58 页

【学位级别】：硕士

【部分图文】：

图2-1GFS结构图

GFS虽然较之传统的分布式文件系统有着较大的改善,但是面对海量图片小文件存储时,元数据的膨胀给主服务器带来很大的存储压力,并且由于GFS是google最顶级的分布式文件系统,有着核心技术和提供最底层的存储,它的代码并非开源,所以外界只能通过官方手册去了解而不能通过底层代码去研究[....

图2-2HDFS的结构图

HDFS是应用在Hadoop上为超大文件的存储和处理设计的分布式文件系统。可以部署在一些廉价的服务器上[20]。它的组织结构图如图2-2所示,它主要由Client、NameNode、DataNode组成。Client用来管理HDFS、将文件分块、从NameNode得知文件位置信....

图2-3FastDFS存储结构图

FastDFS的组织架构如图2-3所示。FastDFS由tracker(跟踪器)、storage(存储器)及client(客户端)组成,且它们都可以由多个服务器组成。比如FastDFS有多个group(组),每个group可以由多台服务器组成,同一个group内的多台服务器的存储....

图2-4多维索引结构图

在基于内容检索的人脸图像检索系统中,多维度索引结构的创建是检索模块中的重点[33]。将人脸库中的人脸图片进行特征提取以后是一堆杂乱无章的高维向量,如何将这些高维向量进行有组织的存储则是创建多维度索引的目的。多维度的索引结构虽然如图2-4所示丰富多样,但是当面对人脸图片特征向量的高....

本文编号：3997797