基于ElasticSearch的分布式物流垂直搜索引擎的设计与实现

发布时间：2020-04-24 04:36

【摘要】：随着互联网的迅猛发展,人们已经习惯于依赖网络来获取信息,搜索引擎的出现在人与海量网络信息之间架起了一座桥梁。然而,传统的集中式搜索引擎无法解决物流行业呈指数级增长的信息量。分布式计算技术出现可以在一定程度上缓解了这个矛盾。除此之外,针对通用搜索引擎的查询结果不够全面、不够专业等问题,本文提出的垂直搜索引擎能够很好地解决上述问题,特别是针对物流领域提供更加具体、更加有效、更加深入的搜索服务。在此背景下,本文在分布式技术和垂直搜索的基础上,设计并实现一个分布式物流垂直搜索引擎系统。本文的主要内容和成果如下:(1)设计集成了 Nutch和ElasticSearch的分布式物流垂直搜索引擎系统。其中,Nutch主要负责主题数据采集和数据清洗;ElasticSearch则作为全文检索服务器,索引并对外提供物流信息检索服务。整个系统设计分为3个主要模块:物流主题采集模块、分布式索引模块和物流信息搜索模块。(2)在物流主题采集模块中采用初始种子和主题过滤等策略,大幅压缩采集后的数据量,过滤物流无关的信息,提高物流主题相关性。在分布式索引模块中采用哈希分片策略解决分布式索引问题,提高分布式索引效率,同时,引入IKanalyzer增强搜索引擎系统的中文搜索能力。在物流信息搜索模块中采用用户自主选择排序的方式呈现最终搜索结果,并通过高亮显示技术提高用户体验。(3)对于传统搜索引擎中不同用户的相同查询返回相同结果的问题,本文提出了基于用户兴趣的结果重排序方案。对搜索引擎返回的相关性结果进行重排序,并没有改变搜索结果,只是将用户更感兴趣的重排在前面,以此来满足不同用户的个性化搜索需求。(4)最后,通过实验测试证明,本系统可以较快速的完成主题网页抓取,实现高质量的搜索,并对中文搜索具有较好的支持。
【图文】：

图１－１中国网民规模和互联网普及率逡逑其中搜素引擎用户达到６．０２亿，使用率８２．７％，较２０１５年底增加３６１５万人，增长逡逑率６．４％，近年来搜索引擎用户规模及使用率呈现上升增长的趋势如图１－２所示。逡逑

２００６逦２００７逦２００８逦２００９逦２０１０逦２０１１逦２０１２逦２０１３逦２０１４逦２０１５逦２０１６逡逑Ｍ网民数邋Ｈ■—互联网普及率逡逑图１－１中国网民规模和互联网普及率逡逑其中搜素引擎用户达到６．０２亿，使用率８２．７％，较２０１５年底增加３６１５万人，增长逡逑率６．４％，近年来搜索引擎用户规模及使用率呈现上升增长的趋势如图１－２所示。逡逑
【学位授予单位】：扬州大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP391.3

【参考文献】

相关期刊论文 前10条

1 唐娜;肖鹂;;信息检索技术的研究[J];湖北科技学院学报;2015年05期

2 柴洁;;基于IKAnalyzer和Lucene的地理编码中文搜索引擎的研究与实现[J];城市勘测;2014年06期

3 吴茜;刘嘉勇;卿粼波;;基于VIPS算法和模糊字典匹配的网页提取技术研究[J];信息网络安全;2014年10期

4 路永和;李焰锋;;改进TF-IDF算法的文本特征项权值计算方法[J];图书情报工作;2013年03期

5 刘隽;;中外搜索引擎性能评测分析[J];情报探索;2012年10期

6 李华昱;刘亚南;欧阳纯萍;;一种χ2统计-遗传算法的特征提取技术研究[J];微型电脑应用;2012年02期

7 苏君华;;搜索引擎评价研究综述[J];情报杂志;2011年04期

8 吴晓晖;廖家艳;陈延寿;;中外搜索引擎对比与研究热点分析[J];情报杂志;2010年12期

9 王文钧;李巍;;垂直搜索引擎的现状与发展探究[J];情报科学;2010年03期

10 王静疆;;搜索引擎评价指标体系比较研究[J];图书情报工作;2008年10期

相关硕士学位论文 前8条

1 肖运文;基于ElasticSearch的教育资源推荐系统设计与实现[D];北京工业大学;2016年

2 陈欢;面向垂直搜索引擎的聚焦网络爬虫关键技术研究与实现[D];华中师范大学;2014年

3 王桦;基于广度优先的主题爬虫的设计与实现[D];复旦大学;2011年

4 陈飞宏;基于向量空间模型的中文文本相似度算法研究[D];电子科技大学;2011年

5 时延军;基于Nutch的分布式搜索引擎的设计与研究[D];长春理工大学;2010年

6 侯航;基于URL分析的主题网络机器人研究[D];电子科技大学;2009年

7 尹辉;基于Nutch的搜索系统的研究[D];电子科技大学;2008年

8 张校乾;基于Lucene的全文检索系统的研究与应用[D];大连理工大学;2005年

，

本文编号：2638535