基于ElasticSearch的分布式视频垂直搜索引擎的设计与实现

发布时间：2021-04-06 02:26

　　分布式搜索技术是目前一个重要的研究内容。随着因特网的快速发展,当今时代互联网上的数据越来越多,而其中很多信息都是无用的,不需要处理。如何从如此海量的数据中检索到对自己有用的信息,成为搜索引擎主要面临的问题。现在的搜索引擎主要是基于复制集群的大规模集中式系统,也就是整个系统都部署在一个服务器上,这对服务器的性能要求非常高,并且可扩展性很差,然而web技术是不断发展的,最近几年,集中式的系统越来越低效,这就推动了分布式集群技术的快速发展。对于如此海量的web数据,通用搜索引擎也有其弊端,例如查询结果不够全面、搜索结果相对粗糙等,而利用垂直搜索引擎能够很好地解决上述问题,特别是针对某一特定领域提供服务,垂直搜索引擎更加具体、更加有效、更加深入。本文在深入研究分布式技术和垂直搜索的基础上,结合分布式技术和垂直搜索的优势,在视频领域设计并实现一个小型的分布式视频垂直搜索引擎。在深入研究系统需求的基础上,采用两种不同的方案把系统分为线下非实时过程和实时搜索显示过程。非实时过程主要是海量视频数据的采集和存储、分布式索引的建立,此过程是通过Hadoop来实现,主要利用Hadoop的海量批处理能力。由于... 

【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校

【文章页数】：68 页

【学位级别】：硕士

【部分图文】：

012-2013年中国搜索引擎用户数及网民使用率;

据中国互联网网络信息中心（CNNIC）的报告显示，截止 2013 年国网民规模达到6.18亿，全年共计新增网民5358万人，其中搜索引模达 4.90 亿，全年增长 3856 万人[1]，如图 1-1 所示。

通用搜索引擎搜索结果展示

【参考文献】：
期刊论文
[1]分布式系统Hadoop平台的视频转码[J]. 杨帆,沈奇威.  计算机系统应用. 2011(11)
[2]一种针对websearch应用的缓存替换算法[J]. 司成祥,孟晓烜,许鲁.  电子学报. 2011(05)
[3]垂直搜索引擎的现状与发展探究[J]. 王文钧,李巍.  情报科学. 2010(03)
[4]一种对LRFU置换策略的自适应改进[J]. 李占胜,毕会娟,李艳平,张立松.  计算机工程与应用. 2008(17)
[5]一种异构Web服务器集群动态负载均衡算法[J]. 郭成城,晏蒲柳.  计算机学报. 2005(02)

硕士论文
[1]基于Map/Reduce的分布式智能搜索引擎框架研究[D]. 付志超.武汉理工大学 2008
[2]垂直搜索引擎若干关键技术的研究[D]. 王晓伟.浙江大学 2007
[3]智能搜索引擎系统的分析设计与开发[D]. 陈魁.大连理工大学 2004



本文编号：3120569