基于Solr的分布式实时搜索模型研究与实现

发布时间：2018-06-06 10:10

  本文选题：信息检索 + 分布式实时搜索模型　； 参考：《电信科学》2011年11期

【摘要】：实时搜索已成为信息检索领域的热点问题之一。传统搜索引擎在分布式环境下无法保证大数据量、高并发情况下的实时响应和数据容灾。本文提出了一种基于Solr的分布式实时搜索模型,分析了其实现原理。模型通过内存索引与磁盘索引相结合保证索引信息的实时展示,同时引入CommitLog日志保证内存索引数据容灾,并通过Master/Slave模型保证搜索服务的可用性。最终应用于实际生产系统中,实践结果充分证明了该模型的可行性。
[Abstract]:Real-time search has become one of the hot issues in the field of information retrieval. Traditional search engines can not guarantee large amount of data in distributed environment, real-time response and data disaster recovery in high concurrent environment. In this paper, a distributed real-time search model based on Solr is proposed and its implementation principle is analyzed. The model combines the memory index and disk index to ensure the real-time display of index information, at the same time introduces the Committee Log to ensure the disaster recovery of the memory index data, and ensures the availability of the search service through the Master / Slave model. Finally, it is applied to the actual production system, and the practical results fully prove the feasibility of the model.
【作者单位】： 湖南大学嵌入式系统及网络实验室;淘宝(中国)有限责任公司;
【基金】：国家自然科学基金资助项目(No.60873074) 国家工业和信息化部核高基金资助项目(No.2009ZX01038-001)
【分类号】：TP391.3

【参考文献】

相关期刊论文 前2条

1 姚树宇,赵少东;一种使用分布式技术的搜索引擎[J];计算机应用与软件;2005年10期

2 曾春,邢春晓,周立柱;基于内容过滤的个性化搜索算法[J];软件学报;2003年05期

【共引文献】

相关期刊论文 前10条

1 汪洁;朱军;;基于Linux的中文垃圾邮件过滤系统设计与实现[J];安徽农业大学学报;2011年02期

2 姚克娟,李晋宏;应用Agent技术实现个性化信息服务[J];北方工业大学学报;2004年03期

3 李伟;黄颖;;基于HtmlParser的网页信息提取[J];兵工自动化;2007年07期

4 王冬青;;远程教育个性化学习支持服务研究[J];中国远程教育;2008年08期

5 杨仁广;孟祥增;;网络多媒体教学资源主题搜索研究[J];电化教育研究;2009年05期

6 谢海涛;孟祥武;;适应用户需求进化的个性化信息服务模型[J];电子学报;2011年03期

7 张波;向阳;王坚;;一种基于语义可理解的信息过滤算法[J];电子与信息学报;2010年10期

8 石玮;周焱华;汪自云;;基于INTERNET的在线IP页面信息单元实时解析的设计与实现[J];福建电脑;2009年06期

9 李彦刚;魏海平;侯兴华;;基于HTMLParser的Web信息抽取系统的设计与实现[J];辽宁石油化工大学学报;2006年02期

10 陈基漓;基于数据立方体的用户兴趣模型[J];桂林工学院学报;2005年01期

相关会议论文 前2条

1 刘勘;尹承明;陈凡;;图书借阅信息的分析与挖掘[A];第二十五届中国数据库学术会议论文集（一）[C];2008年

2 袁晓洁;窦志成;刘芳;张路;;一种基于动态用户模型的个性化Web搜索算法[A];第二十五届中国数据库学术会议论文集（二）[C];2008年

相关博士学位论文 前10条

1 刘玉国;基于内容的互联网舆情信息挖掘关键技术研究[D];山东大学;2011年

2 王瑞琴;基于语义处理技术的信息检索模型研究[D];浙江大学;2009年

3 邓林;网络信息安全防护理论与方法的研究[D];合肥工业大学;2009年

4 潘建国;基于语义的用户建模技术与应用研究[D];上海大学;2009年

5 张晓刚;面向软件过程改进的知识管理技术研究[D];中国科学院研究生院（软件研究所）;2004年

6 张树人;从社会性软件、Web2.0到复杂适应信息系统研究[D];中国人民大学;2006年

7 张丙奇;个性化需求的描述、获取与推断—案例研究[D];中国科学院研究生院（计算技术研究所）;2005年

8 赵鹏;复杂网络与互联网个性化信息服务的研究[D];中国科学技术大学;2006年

9 周斌;面向公众服务的电子政务研究[D];同济大学;2007年

10 张磊;基于本体的主动式知识系统及其若干关键技术研究[D];南京航空航天大学;2006年

相关硕士学位论文 前10条

1 冯思平;Web招标信息搜索及管理系统的设计[D];电子科技大学;2009年

2 陈超;基于词语共现的BBS垃圾信息过滤模型[D];哈尔滨工业大学;2009年

3 唐微;网络信息提取系统关键技术研究[D];大连理工大学;2009年

4 刘佳音;基于本体的个性化信息系统的应用研究[D];杭州电子科技大学;2009年

5 余坦;个性化技术资料支持帮助系统的研究与实现[D];湖南大学;2009年

6 韩兆国;电信计费帐务系统核心模块的设计[D];哈尔滨工程大学;2010年

7 周晓红;基于内容与链接的页面价值算法研究[D];电子科技大学;2010年

8 梁云静;基于遗传算法的主题爬虫搜索策略研究[D];湖北工业大学;2010年

9 范慧;以博客内容为对象的个性化搜索研究[D];华中科技大学;2010年

10 吴则则;支持动态演进的用户兴趣模型挖掘方法研究[D];山东科技大学;2010年

【二级参考文献】

相关期刊论文 前6条

1 肖诗源,叶俊,刘贤德;一种基于Agent的分布式搜索引擎[J];计算机工程;2002年07期

2 贺广宜,罗莉;分布式搜索引擎的设计与实现[J];计算机应用;2003年05期

3 郭少友;Web环境下分布式信息检索模式[J];情报科学;2003年06期

4 翁惠玉,马范援,朱义军,杨传厚;网络搜索引擎的现状分析[J];情报学报;1999年S1期

5 瞿艳,卢增祥,李衍达;分布式网络信息查询系统[J];清华大学学报(自然科学版);2000年01期

6 曾春,邢春晓,周立柱;个性化服务技术综述[J];软件学报;2002年10期

【相似文献】

相关期刊论文 前10条

1 宿建光;中国第一套自主研发的基于Linux数据容灾系统诞生[J];通信世界;2004年15期

2 杨则正;信息检索和交换的手段[J];管理科学文摘;1996年03期

3 邹远鹏,李武湘;葛洲坝集团公司信息系统数据容灾的建设与对策[J];科技创业月刊;2002年12期

4 施水才;信息检索的核心支撑技术[J];中国计算机用户;2003年29期

5 陈新颜;高校信息检索网络教育现状及其发展趋势[J];情报资料工作;2005年02期

6 郑冬仙;供电企业数据容灾和数据安全[J];电力信息化;2005年02期

7 王斌;徐扬;;ACM SIGIR 2008参会报告[J];中文信息学报;2008年06期

8 ;“灾难”奈我何?——HP数据容灾解决方案[J];电脑知识与技术;2001年15期

9 刘卫国,黄祥喜;人工智能与信息检索比较研究[J];技术与市场;1988年01期

10 唐培丽;胡明;解飞;;元搜索引擎研究[J];气象水文海洋仪器;2005年Z1期

相关会议论文 前10条

1 高劲松;胡金柱;何婷婷;柳青;阮芸星;;自适应集成式信息检索研究[A];第十七届全国数据库学术会议论文集（技术报告篇）[C];2000年

2 ;第五届全国信息检索学术会议(CCIR 2009)[A];第五届全国信息检索学术会议论文集[C];2009年

3 ;前言[A];第五届全国信息检索学术会议论文集[C];2009年

4 温馨;王鹏;李少亮;郭文琪;陈群;娄颖;;基于关键字的XML信息检索反馈技术的研究[A];NDBC2010第27届中国数据库学术会议论文集(B辑)[C];2010年

5 ;第四届全国信息检索与内容安全学术会议(NCIRCS 2008)[A];第四届全国信息检索与内容安全学术会议论文集（下）[C];2008年

6 ;编者的话[A];第二届全国信息检索与内容安全学术会议（NCIRCS-2005）论文集[C];2005年

7 王敬成;;HNC农村智能信息检索系统[A];2006年首届ICT大会信息、知识、智能及其转换理论第一次高峰论坛会议论文集[C];2006年

8 李应兴;付婷;李勇;;基于LUCENE的藏文信息检索的研究与应用[A];民族语言文字信息技术研究——第十一届全国民族语言文字信息学术研讨会论文集[C];2007年

9 吴立德;黄萱菁;;前言[A];NCIRCS2004第一届全国信息检索与内容安全学术会议论文集[C];2004年

10 吴晓;李丹宁;林洁;冀肖榆;李丹;;个性化搜索引擎中用户兴趣模型的研究[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年

相关重要报纸文章 前10条

1 希安;微软试水信息检索[N];经济日报;2004年

2 王丹红;数学：为因特网建立秩序[N];科学时报;2009年

3 本报记者 潘永花;组件化平台提升信息检索效率[N];网络世界;2003年

4 柏荣;国家973项目在因特网大规模信息检索领域取得突破[N];中国高新技术产业导报;2003年

5 《计算机世界》方案评析实验室;容灾解决方案评析[N];计算机世界;2007年

6 创新科存储技术有限公司售前技术部经理 冯凯;UIT SVM容灾备份解决方案[N];中国计算机报;2007年

7 李宇鹏;中小企业数据容灾备份之道[N];网络世界;2008年

8 微软中国研究院 陈正 李明镜 马维英;互联网上图像信息检索[N];计算机世界;2001年

9 于振海;Microsoft Office 2003的翻译服务你用了吗？[N];中国电脑教育报;2004年

10 郭涛;集中交易激发灾备需求[N];中国计算机报;2006年

相关博士学位论文 前10条

1 董道国;高维数据索引结构研究[D];复旦大学;2005年

2 林建方;词搭配抽取及在信息检索中的应用研究[D];哈尔滨工业大学;2010年

3 翟海军;面向Web信息检索的知识挖掘[D];中国科学技术大学;2010年

4 郭永明;XML文档交互式信息检索技术研究[D];东华大学;2010年

5 林古立;互联网信息检索中的多样化排序研究及应用[D];华南理工大学;2011年

6 刘云峰;基于潜在语义分析的中文概念检索研究[D];华中科技大学;2005年

7 马马杜 桑卡雷;基于多智能体的流体动力行业虚拟联盟信息检索的研究[D];浙江大学;2002年

8 张毅波;史文结构化信息检索系统的研究与实现[D];中国科学院研究生院（软件研究所）;2001年

9 王鑫印;无结构和半结构信息检索相关技术研究[D];复旦大学;2007年

10 邵虹;基于内容的医学图像检索关键技术研究[D];东北大学;2005年

相关硕士学位论文 前10条

1 吴燕;网上多语种信息检索与管理系统的研究与设计[D];新疆大学;2010年

2 杨立淳;针对社会协作生成型数据的信息检索[D];上海交通大学;2011年

3 姜鑫;跨汉蒙语言信息检索中的查询项翻译方法研究[D];内蒙古大学;2011年

4 王启户;面向远程教育的搜索引擎系统设计与实现[D];西安电子科技大学;2008年

5 陈琳;基于搜索引擎的问答系统若干关键技术研究与实现[D];天津大学;2008年

6 杨宇;搜索词的意图分析与应用[D];北京邮电大学;2010年

7 胡玲敏;数据容灾方案在会计信息系统中的设计与实现[D];华东师范大学;2011年

8 张帆;新闻信息采集系统的设计与实现[D];国防科学技术大学;2008年

9 白宇;中文问答系统中多策略答案抽取技术的研究[D];沈阳航空工业学院;2008年

10 胡维慧;基于用户模型的个性化元搜索引擎的研究与设计[D];山东科技大学;2009年

，

本文编号：1986159