分布式爬虫任务调度策略的优化

发布时间：2017-09-06 14:44

  本文关键词：分布式爬虫任务调度策略的优化

  更多相关文章： 分布式爬虫 任务调度策略 SP-cycle算法 负载均衡

【摘要】：针对当前分布式爬虫任务调度策略存在的节点任务分配不均、发生异常后引起的负载均衡问题,提出了一种基于SP-cycle算法的节点地址空间分配策略。通过该策略构造环形序列取代传统散列函数的节点地址空间映射方法,可使所有抓取服务器分配的地址空间达到动态均等,从而实现可调度节点的负载均衡。实验结果表明,相对于传统一致性哈希方法,改进的任务调度策略具有更好的负载均衡效果,并且发生异常时具有较好的健壮性,有效地提升了分布式爬虫整体性能。
【作者单位】： 东北林业大学信息与计算机工程学院;
【关键词】： 分布式爬虫 任务调度策略 SP-cycle算法 负载均衡
【基金】：“十二五”农村领域国家科技计划资助项目(2012AA102003-2)
【分类号】：TP391.3
【正文快照】： 0引言随着互联网发展,信息量呈指数级增长,搜索引擎作为获取信息的重要工具,须提高网页收集的全面性和及时性才能满足人们的求知需求。网络爬虫作为搜索引擎的核心,负责从互联网上搜索网页下载网页数据更新搜索引擎的数据源,因此爬虫的性能面临着巨大的挑战。优秀的爬虫系统应

【相似文献】

中国期刊全文数据库 前10条

1 刘心松,陈勇,刘艳红;一种启发式任务调度策略[J];电子学报;1992年02期

2 晏燕;引入任务满意度探讨任务调度策略[J];福建电脑;2004年12期

3 吴小惠;;分布式网络爬虫系统的任务调度策略改进[J];上饶师范学院学报;2010年03期

4 苏蕊,徐炜民,钱晓竞;基于双向匹配模型的任务调度策略的研究[J];计算机工程与设计;2005年08期

5 王朋;;云计算环境下任务调度策略研究[J];计算机与现代化;2013年07期

6 吴荣华;邵时;杨早;;基于中断的实时任务调度策略[J];计算机应用与软件;2007年01期

7 王永贵;张伟;韩瑞莲;;云环境下绿色任务调度策略[J];计算机工程与应用;2012年34期

8 徐露露;陈俊;冯钟葵;李安;;一种卫星地面系统中实现任务调度策略可配置的方法[J];遥感信息;2012年06期

9 高强;;一种结合优先级和QoS的任务调度策略[J];现代计算机(专业版);2013年01期

10 谢长生,马进德,黄浩;基于μC__OS-II的任务调度策略研究[J];计算机工程与科学;2004年08期

中国硕士学位论文全文数据库 前10条

1 薛景文;基于免疫算法的云计算任务调度策略研究[D];太原理工大学;2013年

2 吴钧超;基于云用户应用评估的云平台任务调度策略研究[D];哈尔滨工业大学;2013年

3 杨焕;云计算环境下任务调度策略的研究[D];河南大学;2013年

4 王芳;云计算环境下任务调度策略的研究[D];内蒙古农业大学;2015年

5 唐小龙;基于PVM的任务调度策略的研究与实现[D];中南大学;2002年

6 吴世山;面向节能的云计算任务调度策略研究[D];哈尔滨工业大学;2013年

7 张陶;云计算环境下节能任务调度策略研究[D];新疆大学;2013年

8 黎煌达;信息物理融合系统优化调度算法的研究[D];广东工业大学;2015年

9 孙世明;Linux集群系统任务调度策略的研究与设计[D];河海大学;2006年

10 李春豹;企业IT闲散资源整合系统设计与实现[D];电子科技大学;2013年

，

本文编号：803740