垂直搜索引擎爬虫系统其研究实现.pdf 全文免费在线阅读
发布时间:2016-11-11 17:33
本文关键词:垂直搜索引擎爬虫系统的研究与实现,由笔耕文化传播整理发布。
文档介绍:
贵州大学硕士学位论文垂直搜索引擎爬虫系统的研究与实现姓名:吴建强申请学位级别:硕士专业:计算机软件与理论指导教师:罗文俊20080401摘要随着因特网的迅猛发展,WEB信息的增加,用户要在信息海洋里查找信息,就像大海捞针一样,搜索引擎服务能成为最受欢迎的服务是因为它帮助用户在浩瀚的互联网快速的查找信息。在海量的网页里找信息,按照传统方式需要用户逐个网站逐级目录查找。要耗费大量的精力和时间,几乎是不可能实现的任务。互联网的信息量爆炸性增长,几年前全球式搜索引擎收录的网页量只有几千万页,而现在已经达到几十亿页。数量增加带来的是搜索服务的品质下降,查询的结果集已经是海量级的,多达数十万条结果,结果里存在大量的重复信息和垃圾信息。用户越来越感觉到很难在短时间内准确的筛选出需要的内容,很难迅速的找到需要的信息。因此,搜索服务需要细化,需要提供更专业,更有效的服务。垂直搜索引擎是针对某一特定领域、某一特定人群或某一特定需求提供的有一定价值的信息和相关服务。垂直搜索引擎主要涉及的技术有:爬虫,网页结构化信息抽取技术或元数据采集技术,分词和索引,其它信息处理技术。本文的工作主要研究垂直搜索引擎的爬虫系统,并用程序实现整个爬虫系统。网络爬...
内容来自转载请标明出处.
本文关键词:垂直搜索引擎爬虫系统的研究与实现,由笔耕文化传播整理发布。
,本文编号:171267
本文链接:https://www.wllwen.com/kejilunwen/sousuoyinqinglunwen/171267.html