基于分布式的搜索引擎框架与研究和实现(HDFS+Lucene).pdf下载

  本文关键词：基于分布式的搜索引擎框架研究和实现，由笔耕文化传播整理发布。

西北工业大学 硕士学位论文 基于分布式的搜索引擎框架研究和实现 姓名：蒋建洪 申请学位级别：硕士 专业：软件工程 指导教师：张捷 座机电话号码 西北工业大学硕士学位论文 摘要 摘要 随着互联网技术的飞速发展，网络中的信息也是呈几何级数爆炸增长，人们 查阅资料已不是依靠有限范围内的网站来寻找，而是依靠搜索引擎对信息海洋中 的海量数据进行访问了。搜索引擎也越来越普遍应用到各个层面中，大到整个互 联网络的搜索，小到本地文件的搜索，本文正是基于搜索引擎的普遍化，设计并 实现了一个分布式的搜索引擎框架，能够应用于不同的搜索方案。 本文首先介绍了KM分布式系统所使用到的工具包，并且分析了其中的一些 原理和实现机制。随后重点介绍了Hadoop分布式编程框架的原理。KM分布式搜 技术能够高效而稳定的运行分布式的任务。本文还详细探讨了信息抓取模块中负 责访问网络部分的效率分析，采用DNS预转换的方式加速网络爬虫的访问速度。 采用运行在每一个节点上的分布式搜索服务器，能够提供每个分布式节点中的索 引数据的搜索能力。重点阐述了KM分布式搜索系统框架的实现。不仅给出了系 统各模块之间的关系，，而且还分析了各个模块的实现原理和思想。在本文相关模 块的开发中，还尝试了使用测试驱动的开发方法，先写测试代码后实现，能够快 速的开发出需要的功能而又保证程序的健壮性。对于分布式的应用来

  本文关键词：基于分布式的搜索引擎框架研究和实现，由笔耕文化传播整理发布。