基于Lucene的云平台搜索技术研究与实现

发布时间：2017-08-06 11:18

  本文关键词：基于Lucene的云平台搜索技术研究与实现

  更多相关文章： Lucene Hadoop 以图搜图 以图搜视频

【摘要】：随着互联网对工作、学习、生活的渗透程度的日益加深,各种云应用极大地丰富、大数据时代信息量的呈爆炸式增长,互联网正在从过去传统意义上的通信基础平台向泛在、智能的计算平台转化。然而,如果没有搜索服务,在茫茫资源海洋里,用户要找到想要的资源,无异于大海捞针。搜索,就是在多且杂乱的资源库、信息库里,为用户提供一条快速、有效地找到其想要资源的关键途径。本课题旨在对生活中常见的搜索应用的种类:文件搜索、图片搜索和视频搜索,通过横向融合于一体,研究和实现一套简单、有效、可用的解决方案。在自定义算法实现云平台的HDFS文件系统文件搜索的基础上,结合开源的全文搜索引擎开发包Lucene,着重研究和实现了:在云存储平台上,如何快速、有效地找到文件,并摒弃无意义的搜索;在购物平台上,如何根据样图快速找到相似商品从而方便进行比价;在视频监控平台上,如何根据一张异常视频画面,快速、准确地找到该画面所在的视频及定位该画面时间点。通过使用Load Runner测试工具对实验环境进行测试,结果表明,在性能上基本达到了预期目标,搜索速度快、结果较准确,实现效果较好,对云存储平台、购物平台、视频监控平台实现搜索功能都有积极的参考意义。
【关键词】：Lucene Hadoop 以图搜图 以图搜视频
【学位授予单位】：华南理工大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP393.09
【目录】：

• 摘要5-6
• ABSTRACT6-9
• 第一章 绪论9-15
• 1.1 研究背景9-10
• 1.2 研究目标10
• 1.3 国内外研究进展10-13
• 1.3.1 国外研究现状10-11
• 1.3.2 国内研究现状11-13
• 1.4 本文主要工作13-14
• 1.5 论文组织结构14
• 1.6 本章小结14-15
• 第二章HDFS文件系统搜索技术研究与应用15-33
• 2.1 Hadoop分布式存储系统15-17
• 2.2 自定义IsFind算法实现文件搜索17-21
• 2.2.1 自定义Is Find算法技术研究17-18
• 2.2.2 IsFind实现文件搜索18-19
• 2.2.3 实现效果小结19-21
• 2.3 Lucene搜索开发包21-32
• 2.3.1 Lucene相关技术研究21-26
• 2.3.2 Lucene+IKAnalyzer实现文件搜索26-31
• 2.3.3 实现效果小结31-32
• 2.4 本章小结32-33
• 第三章 以图搜图的搜索技术研究与应用33-44
• 3.1 以图搜图的相关技术研究33-35
• 3.2 a Hash实现以图搜图35-43
• 3.2.1 aHash算法35-39
• 3.2.2 aHash实现以图搜图39-41
• 3.2.3 实现效果小结41-43
• 3.3 本章小结43-44
• 第四章 以图搜视频的搜索技术研究与应用44-55
• 4.1 以图搜视频的相关技术研究44-47
• 4.2 FFmpeg+aHash实现以图搜视频47-54
• 4.2.1 FFmpeg技术研究47-50
• 4.2.2 FFmpeg+a Hash实现以图搜视频50-53
• 4.2.3 实现效果小结53-54
• 4.3 本章小结54-55
• 第五章 搜索性能测试55-64
• 5.1 实验环境55-57
• 5.2 测试工具57-60
• 5.3 测试结果60-63
• 5.4 本章小结63-64
• 第六章 总结与展望64-65
• 参考文献65-68
• 攻读硕士学位期间取得的研究成果68-69
• 致谢69-70
• 附件70

【参考文献】

中国期刊全文数据库 前5条

1 王晟;赵壁芳;;基于内容的图片搜索引擎研究[J];长沙大学学报;2012年02期

2 牛夏牧;焦玉华;;感知哈希综述[J];电子学报;2008年07期

3 谈圳;;云计算虚拟化技术研究[J];信息技术与信息化;2012年01期

4 刘亚秋;景维鹏;井云凌;;高可靠云计算平台及其在智慧林业中的应用[J];世界林业研究;2011年05期

5 王博;陈莉君;;Hadoop远程过程调用机制的分析和应用[J];西安邮电学院学报;2012年06期

中国硕士学位论文全文数据库 前4条

1 蔡蕊;一种新的搜索引擎分词词典的研究[D];山东大学;2010年

2 黄翼彪;开源中文分词器的比较研究[D];郑州大学;2013年

3 易理林;HDFS文件系统中元数据的高可用性管理方法研究[D];华南理工大学;2013年

4 邹敏昊;基于Lucene的HBase全文检索功能的设计与实现[D];南京大学;2013年

，

本文编号：629628