智能搜索引擎关键技术研究及应用

发布时间：2018-05-26 02:57

本文选题：搜索引擎 + Nutch　；参考：《浙江理工大学》2017年硕士论文

【摘要】：人类社会的信息化建设已经深入到各个领域,包括建设带宽和速率更高的网络基础设施、研发基于内存数据库群集的新型数据仓库、大规模分布式云计算的逐步应用、设计和开发更注重用户体验的各类应用界面等,以上都在不同层面分别革新了信息的传输、存储、计算、VIEW等领域,以应对大数据时代的来临。但针对互联网应用产生的异构并呈爆炸式增长的海量数据,人们面临着如何更准确高效地获取更有价值信息的问题,而这也逐渐成为了信息高速公路最后一公里的瓶颈。因此,越来越多的互联网公司和科研机构开始以新高度采用新技术来研发或优化其所在领域的搜索引擎,学术界也从更核心的理论及算法角度投入更多精力进行研究,以期望能在搜索引擎革新领域有更大的突破。因此,本文针对智能搜索引擎,在分析核心原理和经典算法的基础上,主要有以下几个方面的成果:(1)分析了搜索引擎国内外的研究现状及发展趋势、搜索引擎的相关理论、系统结构和性能评价标准。(2)针对中文搜索引擎,本文重点分析了中文分词算法原理、向量空间模型(VSM)原理和基于VSM的相似度算法的特点,从向量空间模型的构建出发,提出了一种基于VSM特征词相似度改进算法,并验证了该改进算法的优化性能。(3)根据“正向迭代最细粒度切分”分词的特点,对Nutch搜索引擎框架的分词器进行了优化,并以此为基础设计搭建了一套完整的搜索引擎系统。实验结果表明,本文实现的基于Nutch的搜索引擎系统,其检索准确度有明显提高,具有较好的应用价值。
[Abstract]:The information construction of human society has been deeply studied in various fields , including the construction of network infrastructure with higher bandwidth and rate , the development of a new data warehouse based on memory database cluster , the step - by - step application of large - scale distributed cloud computing , the design and development of search engine more focused on user experience .
【学位授予单位】：浙江理工大学
【学位级别】：硕士
【学位授予年份】：2017
【分类号】：TP391.3

【参考文献】