基于Hadoop的分布式搜索引擎设计与实现

发布时间：2019-01-09 18:22

【摘要】：针对分布式搜索引擎的研究现状和技术背景进行分析,提出基于Hadoop的分布式Lucene搜索引擎的功能模型与系统构架。从系统实现的分布式索引、分布式检索和第三方分词器3个方面的关键技术进行详细叙述,搭建具体实验实施的软件、硬件环境,并运用对比的方法,进行分布式搜索引擎的性能测试分析。实验结果表明:基于Hadoop的分布式Lucene搜索引擎,在信息搜索的效率、可靠性、稳定性和可扩展性等方面,具有很强的优势。
[Abstract]:Based on the analysis of the research status and technical background of distributed search engine, the functional model and system framework of distributed Lucene search engine based on Hadoop are proposed. The key technologies of distributed index, distributed retrieval and third party word particimer are described in detail, and the software and hardware environment of concrete experiment are built, and the method of comparison is used. To test and analyze the performance of distributed search engine. The experimental results show that the distributed Lucene search engine based on Hadoop has strong advantages in the efficiency, reliability, stability and expansibility of information search.
【作者单位】： 桂林理工大学图书馆;
【基金】：2015年度广西教育厅项目“随书光盘资源云服务平台开发应用研究”(项目编号:KY2015YB138) 2013年度广西哲学社会科学规划研究课题基金项目“基于HADOOP大数据技术分布式信息检索系统的研究与实现”(项目编号:13FTQ003)阶段性成果
【分类号】：TP391.3

【参考文献】

相关期刊论文 前2条

1 姚树宇,赵少东;一种使用分布式技术的搜索引擎[J];计算机应用与软件;2005年10期

2 夏敏捷;李娟;;基于Lucene的电子文件全文检索系统研究[J];兰台世界;2015年08期

【共引文献】

相关期刊论文 前5条

1 傅巍玮;李仁发;刘钰峰;黄松立;;基于Solr的分布式实时搜索模型研究与实现[J];电信科学;2011年11期

2 孙宏;李戴维;董旭阳;季泽旭;;搜索引擎技术与发展综述[J];计算机光盘软件与应用;2012年14期

3 李志义;;网络爬虫的优化策略探略[J];现代情报;2011年10期

4 吴宝贵;丁振国;;基于Map/Reduce的分布式搜索引擎研究[J];现代图书情报技术;2007年08期

5 赵琳;;分布式检索及相关理论[J];科技资讯;2011年09期

相关博士学位论文 前1条

1 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年

【二级参考文献】

相关期刊论文 前8条

1 肖诗源,叶俊,刘贤德;一种基于Agent的分布式搜索引擎[J];计算机工程;2002年07期

2 贺广宜,罗莉;分布式搜索引擎的设计与实现[J];计算机应用;2003年05期

3 郭少友;Web环境下分布式信息检索模式[J];情报科学;2003年06期

4 翁惠玉,马范援,朱义军,杨传厚;网络搜索引擎的现状分析[J];情报学报;1999年S1期

5 瞿艳,卢增祥,李衍达;分布式网络信息查询系统[J];清华大学学报(自然科学版);2000年01期

6 高艳霞;张慎武;;电子档案的非结构化存储方案浅议[J];兰台世界;2012年02期

7 张慎武;高艳霞;王玉霞;;电子公文档案管理系统方案设计[J];兰台世界;2013年20期

8 夏敏捷;张慎武;韩新超;;Lucene技术在数字化公文全文检索系统中的应用研究[J];中原工学院学报;2013年05期

【相似文献】

相关期刊论文 前10条

1 逄利华;张锦春;;基于Hadoop的分布式数据库系统[J];办公自动化;2014年05期

2 郑玮;;Hadoop释放大数据潜能[J];软件和信息服务;2012年10期

3 刘尔凯;崔振东;;基于HADOOP技术 实现银行历史数据线上化研究[J];金融电子化;2014年01期

4 邹群;;一种基于Hadoop的数字图书存储系统设计方案[J];黑龙江史志;2014年01期

5 谌章义;毕伟;向万红;王国安;吴爱国;;基于Hadoop的海量电费数据处理模型[J];计算机系统应用;2014年05期

6 ;大数据不等于Hadoop[J];办公自动化;2014年06期

7 ;保障Hadoop数据安全的十大措施[J];计算机与网络;2013年08期

8 王峰;雷葆华;;Hadoop分布式文件系统的模型分析[J];电信科学;2010年12期

9 苏小会;何婧媛;;Hadoop中任务调度算法的改进[J];电子设计工程;2012年22期

10 林伟伟;;一种改进的Hadoop数据放置策略[J];华南理工大学学报(自然科学版);2012年01期

相关重要报纸文章 前8条

1 本报记者 郭涛;机器大数据也离不开Hadoop[N];中国计算机报;2013年

2 本报记者 王星;Hadoop引发大数据之战[N];电脑报;2012年

3 本报记者 邹大斌;Hadoop一体机降低大数据门槛[N];计算机世界;2012年

4 孙定;云计算、大数据与Hadoop[N];计算机世界;2011年

5 乐天　编译;Hadoop：打开大数据之门的金钥匙[N];计算机世界;2012年

6 范范　编译;Hadoop用户可以使用多种搜索引擎[N];网络世界;2013年

7 波波　编译;Hadoop、Web 2.0为磁带带来新商机[N];网络世界;2013年

8 本报记者 郭涛;让更多人能够使用Hadoop[N];中国计算机报;2012年

相关硕士学位论文 前10条

1 刘君;基于Hadoop技术的气象数据采集及数据挖掘平台的研究[D];天津理工大学;2015年

2 谭旭;基于物流数据的快递网络分析与建模[D];浙江大学;2015年

3 赵伟;基于Hadoop的数据挖掘算法并行化研究[D];西南交通大学;2015年

4 赵振崇;基于Hadoop的决策树挖掘算法的研究[D];兰州大学;2015年

5 郭凯振;基于Hadoop的分布式计算系统的设计与实现[D];大连海事大学;2015年

6 白亮;基于Hadoop的民航高价值旅客发现方法研究[D];中国民航大学;2015年

7 席屏;基于Hadoop的视频大数据智能预警系统应用研究[D];江苏科技大学;2015年

8 董立明;基于HADOOP的分布式推荐引擎[D];复旦大学;2013年

9 陆艺达;基于Hadoop分布式计算框架的垃圾短信群发检测系统[D];复旦大学;2013年

10 沈德利;基于Hadoop的密文检索关键技术研究[D];西安电子科技大学;2014年

，

本文编号：2405938