FTP搜索引擎数据采集策略的研究

发布时间：2024-03-03 15:15

　　为了解决传统FTP Search Engine的检索时效性问题,提出了一种有针对性的数据采集更新模型。在该模型中,更新频率被设计用于解决在怎样尽可能降低服务器负载压力的前提下保证较高的平均有效下载比率的问题,而队列排序用于解决在一次数据采集更新中怎样确定FTP站点队列采集对象顺序的策略优化。

【文章页数】：3 页

【部分图文】：

图1FTPSearchEngine检索结果可下载性对比

大的随意性，可能只是临时提供文件下载。大多相关研究认为在这个时效性问题中数据采集更新策略是提高FTPSearchEngine检索结果可访问性的关键性影响因素。在图1中，X轴为当前互联网上比较有影响力的FTPSearchEngine，Y轴表示检索结果中平均有效下载....

图2数据采集更新频率与平均有效下载比率的关系

=在测试评估中，对比各种不同的数据采集更新频率，数据采集更新频率与平均有效下载比率的关系如图2所示。我们可以看出数据采集更新频率与平均有效下载比率成正比关系，数据采集更新频率越高，平均有效下载比率也越高，但随着数据采集更新频率增长，平均有效下载比率接近一个临界值。在实际运行中....

本文编号：3917976