基于Scrapy框架的校园搜索引擎设计

发布时间：2021-10-20 00:30

　　近年来随着数字化校园建设进度的加快,高校校园网站中的信息不断增加。校园网用户量和问题数量的增加导致查找和索引信息变得困难,用户搜索服务的准确率得不到保障。文章基于Scrapy框架对校园搜索引擎进行设计,利用URL去重策略来提升校园信息的查询效率,使搜索结果达到满意期望值。 

【文章来源】：科技创新与应用. 2020,(14)

【文章页数】：2 页

【文章目录】：
引言
1 建立搜索引擎流程分析
    1.1 分析搜索引擎框架
    1.2 网络爬虫
    1.3 搜索引擎的索引
    1.4 Web查询界面
2 在搜索引擎中应用Scrapy爬虫框架
    2.1 Scrapy框架工作原理
    2.2 Scrapy框架的网页URL去重策略
    2.3 Scrapy框架爬虫防禁止策略
3 结束语



本文编号：3445894