基于GNP算法的分布式爬虫调度策略

发布时间：2019-01-06 06:05

【摘要】：针对分布式搜索引擎的任务调度及负载均衡问题,提出了基于GNP算法的分布式爬虫调度策略和负载均衡的方法。利用网络距离预估取代大规模的网络距离测量,不仅提高了系统的响应速度,还减少了系统对广域网造成的压力。通过在广域网上部署爬虫节点,构建分布式搜索引擎,应用该调度策略进行实验,验证了系统性能有较大提高。
[Abstract]:Aiming at the problem of task scheduling and load balancing in distributed search engines, a distributed crawler scheduling strategy and a load balancing method based on GNP algorithm are proposed. The use of network distance prediction instead of large-scale network distance measurement not only improves the system response speed but also reduces the pressure caused by the system to the wide area network (WAN). By deploying crawler nodes on WAN, constructing distributed search engine, and applying the scheduling strategy to experiment, it is verified that the performance of the system has been greatly improved.
【作者单位】： 哈尔滨工业大学计算机科学与技术学院;国家计算机网络应急技术处理协调中心黑龙江分中心;国家计算机网络应急技术处理协调中心;
【基金】：国家“973”重点基础研究发展计划资助项目(G2005CB321806) 国家自然科学基金资助项目(60703014) 高等学校博士学科点专项科研基金资助课题(20070213044) 哈尔滨工业大学优秀青年教师培养计划(HITQNJS.2007.034)
【分类号】：TP391.3

【参考文献】

相关会议论文 前1条

1 柯怡;林宇;金跃辉;程时端;;GNP算法与基于GNP的全局负载均衡技术[A];第九届全国青年通信学术会议论文集[C];2004年

【相似文献】

相关期刊论文 前10条

1 王];董志勇;;基于Quartz的网管系统任务调度的实现[J];电脑开发与应用;2011年07期

2 周智刚;;计算资源共享平台中工作流任务调度研究[J];计算机工程与设计;2011年06期

3 刘艳军;;嵌入式操作系统μC/OS-Ⅱ面向数控系统的改进[J];现代电子技术;2011年12期

4 邱小林;周亦人;;基于Xscale架构实训的嵌入式操作系统研究[J];中国电力教育;2011年20期

5 李彦冬;雷航;;多核操作系统发展综述[J];计算机应用研究;2011年09期

6 左伟;冯金富;潘博;;分布式开放实时系统调度策略研究[J];电光与控制;2011年09期

7 陈院庆;王红蕾;;μC/OS-Ⅱ操作系统在dsPIC30F芯片上的移植[J];机械与电子;2010年S1期

8 张仪哲;;航空维修管理信息系统[J];大众科技;2011年06期

9 孙利锋;;嵌入式操作系统任务切换方法对比分析[J];单片机与嵌入式系统应用;2011年07期

10 李艳芳;蒋秀凤;;基于离散粒子群和禁忌搜索的网格资源调度算法[J];计算机与现代化;2011年09期

相关会议论文 前10条

1 杨舰;黄道平;李小亚;;GDCS任务调度的SPN模型研究[A];第二十六届中国控制会议论文集[C];2007年

2 赖华;王勇;;网格环境中基于改进蚂蚁算法任务调度的研究[A];江苏省现场统计研究会第十次学术年会论文集[C];2006年

3 王璐璐;张素伟;任颉;;网格调度算法[A];《制造业自动化与网络化制造》学术交流会论文集[C];2004年

4 张道德;杨光友;苏旭武;丁毅;;基于ARM架构移植μC／OS-Ⅱ的任务调度[A];2005年十二省区市机械工程学会学术年会论文集（湖北专集）[C];2005年

5 周双娥;雷辉;;基于改进的遗传-模拟退火的有序任务调度算法[A];2006年全国开放式分布与并行计算学术会议论文集（二）[C];2006年

6 杨俊;王骏;沈卓炜;汪芸;;针对紧急通道的实时CORBA系统的改进[A];2009年全国开放式分布与并行计算机学术会议论文集(上册)[C];2009年

7 王凯;徐涛;;μC/OS-Ⅱ任务调度机制的研究[A];中国电子学会第十七届信息论学术年会论文集[C];2010年

8 赵宏伟;许锦洲;;一种基于在线仿真的多无人机任务调度方法研究[A];2009年中国高校通信类院系学术研讨会论文集[C];2009年

9 贾根莲;王开因;;企业数据中心建设过程中的关键问题[A];全国第十五届计算机科学与技术应用学术会议论文集[C];2003年

10 寇晓蕤;王清贤;罗军勇;范元书;;分布式网络拓扑发现架构下的任务调度算法[A];2004中国控制与决策学术年会论文集[C];2004年

相关重要报纸文章 前4条

1 ;五大管理市场细分报告解读[N];网络世界;2007年

2 ;网秦手机杀毒软件获手机杀毒软件优秀用户体验奖[N];中国高新技术产业导报;2008年

3 ;自动化的定义难题[N];网络世界;2008年

4 ;赛迪时代一站式网上审批系统[N];中国电脑教育报;2004年

相关博士学位论文 前10条

1 邱卫东;实时操作系统协同设计中的若干问题研究[D];复旦大学;2005年

2 王磊;容错实时系统可调度性分析研究[D];浙江大学;2005年

3 陈平;数据挖掘网格若干关键技术研究[D];北京邮电大学;2007年

4 袁逸萍;制造网格工作流研究及实现[D];上海大学;2006年

5 黎鹤;并行系统中负载调度问题的研究[D];中国科学技术大学;2008年

6 柏旭光;航空光电平台数字集约化技术研究[D];中国科学院研究生院（长春光学精密机械与物理研究所）;2010年

7 吴巍炜;能量最优化问题的算法研究[D];中国科学技术大学;2011年

8 周博;可重构计算的操作系统支持研究[D];复旦大学;2006年

9 林剑柠;仿真网格环境下资源管理若干关键技术研究[D];南京理工大学;2006年

10 程渤;服务网格工作流管理技术研究[D];电子科技大学;2006年

相关硕士学位论文 前10条

1 张祖礼;网格计算中带有资源属性选择的任务调度的设计与实现[D];哈尔滨工业大学;2010年

2 贾志强;嵌入式操作系统μCOS的移植与测试[D];太原理工大学;2004年

3 阳明晔;基于DSP的导引头信息处理机软件系统的设计与实现[D];国防科学技术大学;2003年

4 黄鹏;基于μC/OS-Ⅱ的车载实时操作系统研究[D];武汉理工大学;2006年

5 廖新粮;基于任务调度的自动测试方法及系统实现[D];电子科技大学;2011年

6 曲绍云;分布式异构系统中任务调度问题的研究[D];青岛大学;2005年

7 张东波;基于CC2420的无线传感器网络系统设计与实现[D];电子科技大学;2007年

8 张旭;基于ARM7的嵌入式OS任务调度算法的剖析、移植与改进[D];沈阳工业大学;2005年

9 易嵩杰;漏洞检测中间件的设计与实现[D];广西大学;2005年

10 王鹦鹉;基于智能传感器的实时系统任务调度分析[D];浙江大学;2006年

，

本文编号：2402438