基于Lucene的大数据量全文搜索引擎的研究与实现

发布时间：2017-11-17 15:01

  本文关键词：基于Lucene的大数据量全文搜索引擎的研究与实现

  更多相关文章： 大数据量 Lucene 索引与搜索优化 实时性搜索 全文检索系统

【摘要】：大数据时代,搜索引擎已经成为人们获取信息和进行信息化管理的重要工具,Lucene作为当前最为流行的开源搜索工具之一,已经应用到很多领域。但是随着数据量的增长Lucene会遇到很多问题,大数据量索引产生的大索引文件会在索引创建、索引优化合并以及搜索等操作时暴露出很多问题,而且大索引也影响着搜索的实时性。这些随着数据量增大而带来的一系列问题一直以来都困扰着开发人员,对于Lucene也只是一个搜索引擎工具包,在实际应用中特别是大数据量情况下的应用中需要我们做的还有很多很多。本文就是围绕这些问题而展开,并提出了一套有效解决以上问题的方案。通过不断的学习和实践,我们总结了影响大数据量索引和搜索性能主要的原因是大索引文件以及索引碎片的共同存在,造成增量索引、索引合并以及搜索加载成本太高和对大量数据进行索引和合并时遇到的磁盘IO瓶颈和内存的过度消耗。针对以上问题,我们主要从三个方面入手以解决大数据量下索引和搜索的问题:第一,针对单索引情况采用缓存技术,内存索引目录以及复用Index Writer和Index Search对象等方法减少磁盘IO并提高搜索加载速度;第二,我们提出了一种多文件存储的主索引局部优化合并的策略来解决因大索引文件和索引碎片共存而带来的索引增量和合并成本过高问题;第三,将索引增量与索引更新分开处理,分索引文件存储进行内部优化,以减少主索引合并优化频率,并为实时性搜索提供支持。考虑到实际应用中的实时性要求和传统实时性搜索解决方案在大数据量情况下存在的问题,我们提出了一种新的实时性搜索解决方案。在文章最后我们采用以上提出的索引和搜索优化方案以及实时性搜索解决方案实现了一个全文搜索引擎并嵌入到实际的项目中。
【学位授予单位】：重庆大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP391.3

【相似文献】

中国期刊全文数据库 前10条

1 吐尔地·托合提;维尼拉·木沙江;艾斯卡尔·艾木都拉;;维、哈、柯多文种全文搜索引擎的设计与实现[J];计算机应用与软件;2009年06期

2 李国芳;;全文搜索引擎快速搭建的设计与实现[J];计算机与现代化;2012年11期

3 张俊飞;;全文搜索引擎搭建解析[J];现代计算机;2013年25期

4 吕梦莹;;全文搜索引擎的设计与实现[J];科技致富向导;2013年11期

5 陈华辉;一个中英文全文搜索引擎的设计与实现[J];计算机应用研究;2001年03期

6 许谭;祝彦杰;;森林碳汇文献全文搜索引擎的设计与实现[J];科技资讯;2008年33期

7 赵淑梅;;全文搜索引擎技术[J];郑州铁路职业技术学院学报;2008年03期

8 杜勇强;;基于行为统计的全文搜索引擎排序算法[J];计算机与数字工程;2006年10期

9 赵力;;网站全文搜索引擎技术的初步研究及应用[J];科技信息;2009年11期

10 王志敏;黄文;谢小红;赖建宇;;基于全文搜索引擎的空间数据搜索研究[J];国土资源信息化;2013年03期

中国重要会议论文全文数据库 前2条

1 吐尔地·托合提;维尼拉·木沙江;艾斯卡尔·艾木都拉;;维、哈、柯全文搜索引擎中查询处理研究与实现[A];第四届全国信息检索与内容安全学术会议论文集（上）[C];2008年

2 陆伟;周雪忠;吴朝晖;;基于XML的WEB数据库全文搜索引擎[A];中国中医药信息研究会第二届理事大会暨学术交流会议论文汇编[C];2003年

中国重要报纸全文数据库 前1条

1 湖北 周东飞;用Spy-CD构建网站全文搜索引擎[N];电脑报;2002年

中国硕士学位论文全文数据库 前9条

1 杨彬;基于Lucene.NET的局域网全文搜索引擎的设计与实现[D];电子科技大学;2014年

2 高利雅;基于solr全文搜索引擎的研究与实现[D];电子科技大学;2014年

3 高建贵;基于Lucene的大数据量全文搜索引擎的研究与实现[D];重庆大学;2015年

4 翟永恒;基于Lucene的全文搜索引擎的应用研究[D];贵州大学;2009年

5 徐传运;基于主题相关的P2P全文搜索引擎的研究[D];重庆大学;2006年

6 张瑞;基于Lucene的中英文文档全文搜索引擎[D];电子科技大学;2008年

7 吴卓斌;基于LUCENE全文搜索引擎关键技术的研究[D];暨南大学;2007年

8 苏亮;基于多级Hash分词的全文搜索引擎的研究[D];北京邮电大学;2008年

9 李晓东;一个企业搜索平台的设计与实现[D];东北大学;2012年

，

本文编号：1196385