一种基于银行家算法的网络爬虫资源配置策略

发布时间：2017-12-01 22:11

  本文关键词：一种基于银行家算法的网络爬虫资源配置策略

  更多相关文章： 操作系统 资源配置 死锁 系统安全 银行家算法 网络爬虫

【摘要】：死锁是多用户操作系统正常运行的一个重要问题,系统资源不足会导致爬虫算法进入不安全状态,进而引发死锁等问题。引入被广泛用于操作系统的银行家算法,调度多个网络爬虫进程并发运行,并且为每个进程合理分配系统资源,当进程无法获取系统资源时,则等待其他进程分配完成后释放系统资源,从而完成资源分配,有效降低死锁率。采用C++编程,设计并实现基于银行家算法的网络爬虫配置策略。通过2 h 21 min 35 s工程测试,urllib2算法死锁率为30%,新算法死锁率仅为2%,测试证明该策略能够有效降低死锁率,能高效完成多个任务进程的资源分配。
【作者单位】： 南方电网科学研究院有限责任公司技术情报所;
【分类号】：TP393.08
【正文快照】： A web crawler resource allocation strategy based on the Banker's algorithmWANG Qinghong,LI Guangkai,ZHOU Yuzhong,WEI Ronghui(Technology Information Department,Electric Power Research Institute of China Southern Power Grid,Guangzhou 510080,China)网络爬虫

【参考文献】

中国期刊全文数据库 前2条

1 杨梅;滕少华;;基于死锁避免的资源安全分配算法[J];计算机工程与设计;2011年01期

2 章韵;汤楠;;服务计算中避免死锁和活锁的资源分配算法[J];微电子学与计算机;2010年12期

【共引文献】

中国期刊全文数据库 前2条

1 刘来;骆翔宇;;一个分布式K互斥算法的概率模型检测[J];计算机应用研究;2015年04期

2 潘传中;周英;;一种改进的分布式互斥请求集生成算法[J];西南民族大学学报(自然科学版);2014年05期

中国博士学位论文全文数据库 前1条

1 许建龙;物联网平台感知层建模与快速调度方法研究及应用[D];华南理工大学;2013年

中国硕士学位论文全文数据库 前7条

1 王枝楠;锅炉仿真中并行死锁问题的研究[D];浙江理工大学;2012年

2 张洁彬;基于车辆间通信的智能十字路口交通控制系统设计与实现[D];中山大学;2013年

3 林岚;基于银行家算法的分布式互斥请求集生成算法研究[D];内蒙古农业大学;2012年

4 陈志党;对分布式互斥请求集生成算法的进一步探索[D];内蒙古农业大学;2012年

5 刘恒;基于重复数的最短循环请求集生成算法研究[D];内蒙古农业大学;2014年

6 刘来;基于概率模型检测的分布式算法验证和分析[D];华侨大学;2014年

7 易苗苗;PRAM模型应用于同步机制的研究[D];南京邮电大学;2014年

【二级参考文献】

中国期刊全文数据库 前7条

1 李金忠,曾劲涛;对银行家算法设计思想的改进及其代码实现[J];井冈山师范学院学报;2004年05期

2 刘荣峰;李引珍;;基于有色Petri网并发进程模型及死锁避免方法[J];计算机工程与应用;2007年06期

3 滕少华,伍乃骐;一种半导体自动化制造系统中的死锁避免[J];计算机集成制造系统-CIMS;2003年01期

4 徐刚,吴智铭;银行家算法在柔性制造系统中的改进和应用[J];计算机集成制造系统-CIMS;2004年01期

5 帖军;蒋天发;;银行家算法中的安全序列分析[J];武汉理工大学学报;2007年06期

6 黄鲲;王知衍;翁小雄;;树形异构网格的启发任务调度算法[J];微电子学与计算机;2007年10期

7 綦方中;郭乃杭;周根贵;;协同制造中一种基于银行家算法的资源分配策略[J];现代制造工程;2007年10期

【相似文献】

中国期刊全文数据库 前10条

1 彭轲;廖闻剑;;基于浏览器服务的网络爬虫[J];硅谷;2009年04期

2 王江红;朱丽君;李彩虹;;一种新型网络爬虫的设计与实现[J];微计算机信息;2010年03期

3 孙立伟;何国辉;吴礼发;;网络爬虫技术的研究[J];电脑知识与技术;2010年15期

4 于成龙;于洪波;;网络爬虫技术研究[J];东莞理工学院学报;2011年03期

5 焦赛美;;网络爬虫技术的研究[J];琼州学院学报;2011年05期

6 宋海洋;刘晓然;钱海俊;;一种新的主题网络爬虫爬行策略[J];计算机应用与软件;2011年11期

7 刘金红;陆余良;;主题网络爬虫研究综述[J];计算机应用研究;2007年10期

8 曹忠;赵文静;;一种优化的网络爬虫的设计与实现[J];电脑知识与技术;2008年35期

9 邹海亮;孙莉;;可定制的聚焦网络爬虫[J];电子科技;2009年01期

10 杨松梅;;网络爬虫[J];硅谷;2009年15期

中国重要会议论文全文数据库 前5条

1 夏诏杰;郭力;李晓霞;;化学主题网络爬虫的研究[A];第十届全国计算(机)化学学术会议论文摘要集[C];2009年

2 李楠;谷利泽;钮心忻;;用于XSS扫描的网络爬虫的设计与实现[A];2010年全国通信安全学术会议论文集[C];2010年

3 张军;于浩;内野宽治;;UGC中产品评论信息的挖掘[A];内容计算的研究与应用前沿——第九届全国计算语言学学术会议论文集[C];2007年

4 徐剑;柯贵明;;网络爬虫技术在搜索引擎中的应用[A];全国第21届计算机技术与应用学术会议（CACIS·2010）暨全国第2届安全关键技术与应用学术会议论文集[C];2010年

5 王庆广;何力;韩伟红;;基于爬虫的有害网站发现与判别系统的实现[A];第27次全国计算机安全学术交流会论文集[C];2012年

中国硕士学位论文全文数据库 前10条

1 金梅;网络爬虫性能提升与功能拓展的研究与实现[D];吉林大学;2012年

2 芮虎;比价购物平台中网络爬虫的设计与实现[D];华东理工大学;2013年

3 龚秋艳;并行网络爬虫设计与实现[D];华东师范大学;2010年

4 么士宇;基于分布式计算的网络爬虫技术研究[D];大连海事大学;2011年

5 陈奋;过滤型网络爬虫的研究与设计[D];厦门大学;2007年

6 赵茉莉;网络爬虫系统的研究与实现[D];电子科技大学;2013年

7 刘晶晶;面向微博的网络爬虫研究与实现[D];复旦大学;2012年

8 耿令宝;分布式环境下的网络爬虫系统研究与优化[D];北京邮电大学;2015年

9 谭龙远;基于领域的网络爬虫技术的研究与实现[D];武汉理工大学;2009年

10 张红云;基于页面分析的主题网络爬虫的研究[D];武汉理工大学;2010年

，

本文编号：1242619