搜索引擎中混合型分布式索引组织策略

发布时间：2018-09-13 16:39

【摘要】：针对搜索引擎中索引组织策略在查询性能和可扩展性等方面存在的问题,提出了一种混合型分布式索引组织策略(Loc-Glob).该策略整合了局部和全局索引组织的基本思路,首先将搜索引擎系统的索引服务器从逻辑上分为若干个索引服务器池,索引数据先以局部(或全局)索引组织策略分配到索引服务器池上.然后,在索引服务器池的内部,索引继续以全局(或局部)索引组织的方式存储到各索引服务器上.混合型的索引组织策略较局部和全局索引组织策略具有更好的可扩展性.实验结果表明,该策略较全局索引组织策略在查询性能、负载均衡方面都有所提升,与局部索引组织策略的查询性能基本相当,并具备较高的负载均衡水平.
[Abstract]:Aiming at the problems of query performance and scalability of index organization strategy in search engines, a hybrid distributed index organization strategy (Loc-Glob) is proposed. This strategy integrates the basic idea of local and global index organization. Firstly, the index server of search engine system is logically divided into several index subordinates. In server pool, index data is first allocated to the index server pool using a local (or global) index organization strategy. Within the index server pool, the index continues to be stored on each index server in a global (or local) index organization manner. The hybrid index organization strategy has better performance than the local and global index organization strategy. Experiments show that compared with the global index organization strategy, the proposed strategy can improve query performance and load balancing performance, and has a high load balancing level.
【作者单位】： 浙江大学计算机科学与技术学院;
【基金】：国家“973”重点基础研究发展规划资助项目(2006CB303000)
【分类号】：TP391.3

【共引文献】

相关期刊论文 前1条

1 张伟哲;张宏莉;许笑;何慧;;分布式搜索引擎系统效能建模与评价[J];软件学报;2012年02期

相关博士学位论文 前2条

1 许笑;分布式Web信息采集关键技术研究[D];哈尔滨工业大学;2011年

2 刘康苗;自适应网络信息获取服务技术研究[D];浙江大学;2008年

相关硕士学位论文 前3条

1 燕昆;分布式搜索引擎索引安全及缓存策略研究[D];华中科技大学;2011年

2 刘康苗;自适应网络信息获取服务技术研究[D];浙江大学;2008年

3 施兴;面向海量邮件的检索系统研究与实现[D];哈尔滨工业大学;2008年

【相似文献】

相关期刊论文 前10条

1 王涛;吴洁明;;搜索引擎建立倒排索引的算法研究[J];现代计算机(专业版);2008年01期

2 陈伟;刘康苗;卜佳俊;陈纯;张利军;;搜索引擎中混合型分布式索引组织策略[J];浙江大学学报(工学版);2009年08期

3 王路芳;张虎;;一种面向搜索引擎的基于集合模型的搜索算法[J];山西农业大学学报(自然科学版);2009年06期

4 方冰;张一中;;高性能FTP搜索引擎的设计[J];南京邮电大学学报(自然科学版);2007年03期

5 李栋;史晓东;;一种支持高效检索的实时更新倒排索引策略[J];情报学报;2006年01期

6 赵丽红;维尼拉·木沙江;;维、哈、柯多语种搜索引擎中改进索引创建的新方法的构思[J];现代计算机;2011年06期

7 吴文娟;车明;;搜索引擎倒排索引技术的改进[J];微处理机;2006年06期

8 李晓明;单栋栋;;基于文档重要度的静态索引剪枝方法[J];华南理工大学学报(自然科学版);2011年04期

9 匡振国;倪宏;嵇智辉;刘磊;;一种基于Lucene的影片搜索引擎的研究和应用[J];计算机工程与应用;2008年29期

10 郭立力;赵春江;;高效FTP搜索引擎的设计与实现[J];华南理工大学学报(自然科学版);2009年01期

相关会议论文 前10条

1 维尼拉·木沙江;吴俊森;吐尔根·依布拉音;;维吾尔文搜索引擎的倒排索引设计与实现[A];民族语言文字信息技术研究——第十一届全国民族语言文字信息学术研讨会论文集[C];2007年

2 孙宇;刘憬;张宇;刘挺;;基于分词和倒排索引的短文本检索技术的研究与实现[A];黑龙江省计算机学会2007年学术交流年会论文集[C];2007年

3 彭轲;廖闻剑;;浅析搜索引擎[A];中国通信学会第五届学术年会论文集[C];2008年

4 邓长寿;郭景峰;杨焱林;邓安远;;下一代Web搜索引擎初探[A];第十八届全国数据库学术会议论文集（研究报告篇）[C];2001年

5 李栋;史晓东;;对搜索引擎中倒排索引更新策略的研究和改进[A];第二十二届中国数据库学术会议论文集（技术报告篇）[C];2005年

6 维尼拉·木沙江;吐尔洪·吾司曼;;维、哈、柯文搜索引擎中网页爬行器的设计与实现[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年

7 李丹;;如何利用搜索引擎查找中医药信息[A];中国中医药信息研究会第二届理事大会暨学术交流会议论文汇编[C];2003年

8 汤薇;曾艳;;构建校园网搜索引擎必要性分析[A];广西计算机学会2008年年会论文集[C];2008年

9 姚树宇;赵少东;;一种使用分布式技术的搜索引擎[A];2005年全国开放式分布与并行计算学术会议论文集[C];2005年

10 倪俊峰;;基于黄页搜索引擎的关键字排名广告系统的设计与实现[A];2005年中国索引学会年会暨学术研讨会论文集[C];2005年

相关重要报纸文章 前10条

1 李一鑫;搜索排名的红与黑[N];财经时报;2007年

2 周文林;搜狗3.0能否撼动搜索市场[N];经济参考报;2007年

3 惠正一;比尔·盖茨:微软不怕Google[N];第一财经日报;2005年

4 赛迪顾问股份有限公司互联网与电子商务咨询中心 常燕杰;搜索，，还是门户[N];中国计算机报;2005年

5 陈珊;浙江移动推出手机搜索引擎服务[N];人民邮电;2005年

6 赵法忠;搜索引擎还需悠着点[N];中国经营报;2005年

7 金朝力;搜索引擎火拼搜索质量[N];北京商报;2006年

8 本报记者　 赵晓辉 孟昭丽;搜索引擎驶入“避风港”[N];中国证券报;2006年

9 孙t;搜索引擎惊喜侵权官司止于“避风港”？[N];第一财经日报;2006年

10 姜蕊;问天下谁识搜索？[N];中国高新技术产业导报;2006年

相关博士学位论文 前10条

1 李群;主题搜索引擎聚类算法的研究[D];北京林业大学;2011年

2 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年

3 岑荣伟;基于用户行为分析的搜索引擎评价研究[D];清华大学;2010年

4 苏君华;面向搜索引擎的技术接受模型研究[D];南京大学;2011年

5 郭眈;中文互联网视频搜索引擎系统策略研究[D];北京交通大学;2012年

6 王昤璞;基于用户体验的互联网搜索引擎医学信息检索可用性评估研究[D];吉林大学;2010年

7 李莎莎;面向搜索引擎的自然语言处理关键技术研究[D];国防科学技术大学;2011年

8 白玉琪;空间信息搜索引擎研究[D];中国科学院研究生院（遥感应用研究所）;2003年

9 张泽华;云计算联盟建模及实现的关键技术研究[D];云南大学;2010年

10 杨际祥;并行与分布式计算负载均衡问题研究[D];大连理工大学;2012年

相关硕士学位论文 前10条

1 吴俊森;维哈柯多语种搜索引擎倒排索引模块的实现[D];新疆大学;2007年

2 封俊;基于Hadoop的分布式搜索引擎研究与实现[D];太原理工大学;2010年

3 尉建兴;基于Lucene搜索引擎的研究与应用[D];太原理工大学;2011年

4 时延军;基于Nutch的分布式搜索引擎的设计与研究[D];长春理工大学;2010年

5 王珍;维、哈、柯文搜索引擎中的自动分类技术研究[D];新疆大学;2010年

6 刘雪芹;单汉字全文检索技术研究[D];河北工业大学;2005年

7 王颖;中文局域网搜索引擎设计与实现[D];电子科技大学;2009年

8 吴宝贵;搜索引擎中索引技术研究与实现[D];西安电子科技大学;2008年

9 刘宇波;面向可下载资源的WEB搜索引擎的设计与实现[D];湖南大学;2005年

10 胡晓翠;站点搜索引擎的研究与实现[D];武汉科技大学;2009年

本文编号：2241736