面向汽车主题的垂直搜索引擎研究与实现.pdf 88页

  本文关键词：面向汽车主题的垂直搜索引擎研究与实现，由笔耕文化传播整理发布。

西南交通大学 硕士学位论文 面向汽车主题的垂直搜索引擎研究与实现 姓名：张楠 申请学位级别：硕士 专业：计算机应用技术 指导教师：楼新远 座机电话号码 西南交通大学硕士研究生学位论文 第l页 摘 要 互联网已经成为一个巨大的海量信息空间，，人们在互联网上搜索信息主要利用百度 等通用搜索引擎，这类搜索引擎功能已经十分强大，基本可以满足用户的需求，但是当 用户搜索一些面向主题的信息时，这类搜索引擎往往显得力不从心。垂直搜索引擎的出 现，正是为了解决此类问题。 本文首先介绍了垂直搜索引擎的特点及工作原理，然后详细分析了开源网络爬虫 Heritrix的系统结构。在此基础上，提出了设计特定的解析器，解析特定网站，以及扩展 对个别处理器的影响，以及引入哈希算法，实现了高效、多线程抓取的目的。 其只考虑网页内容本身，不能反映出网页的重要性的不足，通过引入基于链接分析的 本文在上述研究的基础上，根据汽车爱好者查询汽车信息的一般要求，建立了一个 面向汽车主题的垂直搜索引擎，设计了各个子系统，并实现了改进的爬虫和排序算法。 最后，本文在建立的垂直搜索引擎系统上，首先通过查询实验，验证了垂直搜索引 擎相对通用搜索引擎的直观优势，然后通过对改进前后的爬虫抓取网页速度对比，以及 对改进后爬虫在不同线程数、不同运行时间的条件下抓取网页速度的分析，验证了改进 后的爬虫性能有了较明显的提高，最后通过对比排序算法改进前后的排序结果，验证了 改进后的排序算法在符合用户预期查询结果方面，得到了较好的改善。 关键词：垂直搜索引擎、网络爬虫、Lucene、 西南交通大学硕士研究生学位论文

  本文关键词：面向汽车主题的垂直搜索引擎研究与实现，由笔耕文化传播整理发布。