基于Hadoop的海量图片检索平台的构建与研究

发布时间：2018-01-23 17:48

  本文关键词： 图片大数据 HDFS HBase 布隆过滤器算法 误判率　出处：《内蒙古农业大学》2017年硕士论文　论文类型：学位论文

【摘要】：当下随着信息技术的不断发展,如何实现海量图片数据的存储与高效检索,并从这些图片中检索出有价值的、符合用户需求的图片信息已成为急需解决的问题。根据上述问题,本文展开以下几方面的研究:(1)论文分析了大数据存储技术的发展现状及研究成果,探讨了传统的基于图片内容的检索(CBIR)技术,在总结了传统的图片存储、检索技术的特点与发展的基础之上,对当前主流的检索算法进行了大量的调研。(2)论文将布隆过滤器算法应用到海量图片的检索问题中。布隆过滤器作为一种空间效率非常高且不规则的数据结构,其内部运算只需简单的"与"和"异或"操作,硬件方面比较容易实现,同时匹配的效率也非常高,因此它适合判断一个文件是否属于集合内。在此基础上本文还提出一种改进机制,降低了布隆过滤器算法的误判率,同时提高检索效率。(3)论文运用Hadoop的分布式文件系统HDFS和非关系型数据库HBase对海量图片大数据进行分布式存储管理。通过对图片进行预处理获得图片的Message-Digest Algorithm 5(MD5)值并作为 HBase 数据库中的 RowKey 值,利用布隆过滤器来判断图片是否存在于库中。如果存在库中再根据RowKey值在HBase中检索图片相关信息。构建基于HDFS-HBase-BloomFilter的一体化海量图片大数据解决方案,并通过实验进行验证。
[Abstract]:This paper studies the development situation and research results of large data storage technology , and makes a great deal of research on the traditional retrieval algorithm .

【学位授予单位】：内蒙古农业大学
【学位级别】：硕士
【学位授予年份】：2017
【分类号】：TP391.41

【参考文献】

相关期刊论文 前10条

1 周童舟;;计算机及网络技术的定义及应用[J];电子技术与软件工程;2017年02期

2 夏靖波;韦泽鲲;付凯;陈珍;;云计算中Hadoop技术研究与应用综述[J];计算机科学;2016年11期

3 孙玉林;王晓卉;;一种基于Hadoop的海量图片检索策略[J];电子技术与软件工程;2016年18期

4 权恒星;魏学才;王漫;;基于软件定义网络的分布式文件系统设计[J];计算机工程;2016年05期

5 王洋;刘星;须成忠;江松;王刚;文韬;范小朋;陆平;;大规模分布式文件系统元数据管理综述[J];集成技术;2016年02期

6 王鹏超;杜慧敏;曹广界;杜琴琴;丁家隆;;基于布隆过滤器的精确匹配算法设计与实现[J];计算机科学;2015年S1期

7 孙智超;徐蕾;;二路平衡动态布隆过滤器[J];数学的实践与认识;2014年05期

8 朱晓丽;赵志刚;;一种基于HBase的海量图片存储技术[J];信息系统工程;2013年08期

9 王彦明;奉国和;薛云;;近年来Hadoop国外研究综述[J];计算机系统应用;2013年06期

10 申德荣;于戈;王习特;聂铁铮;寇月;;支持大数据管理的NoSQL系统研究综述[J];软件学报;2013年08期

相关博士学位论文 前1条

1 田小梅;多布鲁姆过滤器查询算法及其应用研究[D];湖南大学;2013年

相关硕士学位论文 前1条

1 吴建鹏;基于Hadoop技术的图像检索系统的设计与实现[D];中国科学院大学(工程管理与信息技术学院);2015年

，

本文编号：1457867