基于solr的分布式搜索引擎研究

  本文关键词：基于solr的分布式搜索引擎研究，由笔耕文化传播整理发布。

网友sanshengyuanting近日为您收集整理了关于基于solr的分布式搜索引擎研究-硕士毕业论文的文档，希望对您的工作和学习有所帮助。以下是文档介绍：基于 solr 的分布式搜索引擎研究-硕士毕业论文分类号学号 M201076071 学校代码 10487 密级硕士学位论文基于 solr 的分布式搜索引擎研究学位申请人: 张新生学科专业: 软件工程指导教师: 薛志东副教授2012.5.17答辩日期:A Thesis Submitted in Partial Fulfillment of the Requirementsfor the Degree for the Master of EngineeringThe research of Distributed SearchEngine Based on SolrCandidate : Zhang XinshengMajor: Software EngineeringSupervisor : Assoc. Prof. XueZhidongHuazhong University of Science and TechnologyWuhan 430074, P. R.ChinaMay, 2012华中科技大学硕士学位论文摘要随着中小型企业的迅猛发展以及电脑信息化的大量普及,快速发展的企业信息量呈指数增长。企业用户想要在庞大的海量信息库中找到自己需要的准确信息,就如同在大海中捞针不太现实。而解决这一难题的可用方法就是搜索引擎技术, 利用它可以为用户提供比较简单的信息检索服务。为了能够更好的处理企业海量数据及搜索的准确性,在搜索引擎系统中引入了分布式计算和 Solr 全文检索技术。主要针对海量数据的处理及高并发请求的处理来构架分布式的搜索引擎。提出分布式搜索引擎的主要研究工作在于对传统的搜索引擎进行分布式计算。应对海量数据的处理主要采用分布式建立索引及分布式搜索的策略。并采用分布式文件系统进行存储索引文件。然后对系统的整体流程框架进行深入探讨,得到能够有效应对海量数据处理的结构及流程。在应对处理高并发请求方面,给出软硬负载均衡及优化每个分布式节点的策略。通过负载均衡策略和对每个分布式有效节点进行优化处理, 使其性能达到能够快速处理高并发的请求的水平。并且针对 Solr 索引处理机制采用主从式复制集群部署,使其更好的适应海量数据及并发请求的处理。最后, 在实验室的环境下构建了一个有两个有效节点的小型分布式搜索引擎系统, 其中每个有效节点是集群部署的两台计算机。对其建立海量索引,并且通过对引擎的压力测试, 得到实验数据结果。通过分析理解实验数据结果, 验证了系统架构的可靠性、扩展性和稳定性。关键词: 分布式计算海量信息高并发 Solr 搜索引擎 I 华中科技大学硕士学位论文AbstractWith the rapid development of small and medium-sized enterprises, aswell as theincreasing popularity puter information technology, the rapiddevelopment ofenterprise’s amount of information has grown exponentially.Business users want accurateinformation they need to find a huge mass of information the library,it is not realistic asfishing for a needle in the ocean. The search engine technology isan effective way tosolve this problem, which allows you to provide users with arelatively simple informationretrieval service. In the search engine system in order to be ableto better deal with hugeamounts of data and search accuracy, use of puting andthe Solr full textretrieval technologyThe search engine user distributed processingarchitecture for massive dataprocessing and high concurrent requests. Proposed a distributedsearch engine, the mainresearch work is puting on traditional search engines.Massive dataprocessing should be distributed indexing and distributed searchstrategy. And distributedfile system to store the index file. And then conduct in-depthdiscussion on the overallprocess framework to effectively deal with massive data processing,structure andprocesses. In response to the treatment of high concurrent requests,given the software andhardware load balancing and optimization strategies of eachdistributed node. Loadbalancing strategy and for each distributed active nodes to optimizeits performance to beable to quickly deal with the high concurrent requests. Master-slavereplication clusterdeployment, and to better adapt to the huge amounts of data and theprocessing ofconcurrent requests and handling mechanism for Solr indexFinally, inmy laboratory environment to build a small two active nodes distributedsearch engine system, where each active node cluster deployed puters. Establishits mass ind

12>

  本文关键词：基于solr的分布式搜索引擎研究，由笔耕文化传播整理发布。