基于Elasticsearch的分布式智能搜索引擎的研究与实现

发布时间：2020-02-18 15:57

【摘要】：随着各个行业信息化的快速发展,当今各个垂直领域的数据越来越多,而其中有很多数据都是无用的,不需要特殊处理。如何快速、高效从垂直领域内的海量数据中检索、智能挖掘出有用的信息成为现在智能搜索引擎发展的一大难题。随着搜索引擎技术的发展,出现了各种各样的搜索引擎技术,但绝大部分搜索引擎技术针对特殊领域中的特殊术语和特殊表达方式不能进行有效的检索和智能推荐,所以传统的搜索引擎技术不能满足当前行业的需求,这就促进了分布式智能搜索引擎的发展。分布式智能搜索引擎不仅仅只是根据各个垂直领域的不同进行自适应处理,而且还能在提高检索精度和检索效率的基础上,针对已有的海量数据检索、挖掘出用户潜在关注的一些信息,让搜索引擎能够提供更加友好、智能的为用户提供交互。本文在深入研究基于Elasticsearch分布式搜索技术和垂直搜索技术的基础上,结合垂直领域个性化词典构建技术和智能推荐技术的优势,设计并实现了一种基于Elasticsearch的分布式智能搜索引擎。本文提出了一种基于左右递归的新词发现算法来实现了垂直领域个性化词典的构建,当数据进入搜索引擎时就会自动的发现新词并加入到对应的垂直领域个性化词典中。同时,本文将该模块完美的集成到了Elasticsearch分布式搜索集群中,让搜索引擎能根据垂直领域的不同自动的加载和更新对应的个性化词典,让搜索引擎更加的高效和准确。在此之上,本文还设计和实现了智能推荐模块并集成到了智能分布式搜索引擎之中,提出了一种基于Item的协同过滤算法的改进方案,能够在一定程度上提高算法的推荐质量,让搜索引擎变得更加的完美、智能。最后,本文还介绍了智能分布式搜索引擎的搭建过程和相关配置优化,并通过多个方面的实验验证了本系统的有效性、智能性。
【图文】：

重庆大学硕士学位论文 4 一种智能搜索引擎的设计与实现4.3.1 Elasticsearch 分布式搜索集群的搭建与配置本系统搭建的 Elasticsearch 分布式搜索集群一共有 9 个节点，其中包含 2 个调度节点，主节点将在这两个节点中选举；1 个负责负载均衡的节点，它既不会作为主节点，，也不会存储数据；6 个数据节点，它们主要用于存储索引数据。本系统采用版本为 1.7.0 的 Elasticsearch，它的目录结构如图 4.12 所示。

图 4.13 主节点配置图Fig 4.13 The chart of master node configuration图 4.14 负载均衡节点配置图
【学位授予单位】：重庆大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP391.3

【引证文献】

相关硕士学位论文 前7条

1 王蕾;基于WEB的物联网实体搜索技术研究与应用[D];南京邮电大学;2018年

2 竺润龙;博客媒体分析系统设计与实现[D];华中师范大学;2018年

3 骆金维;基于云平台的高职院校课程资源共享系统设计与实现[D];华南理工大学;2018年

4 刘招帅;安全高效的供应链管理系统的研究与设计[D];北京邮电大学;2018年

5 岳宗林;基于垂直搜索引擎的舆情预警分析平台[D];济南大学;2017年

6 何倩武;携程机票事业部大数据监控平台的设计与实现[D];南京大学;2017年

7 张树钧;基于Open edX的蒙古文MOOC平台关键技术研究与实现[D];内蒙古师范大学;2017年

本文编号：2580753