爬行虫算法设计与程序实现

发布时间：2019-07-26 21:29

【摘要】：爬行虫算法是搜索引擎探讨的热点。通过分析现有爬行虫算法设计和程序实现的主要方式 ,权衡其利弊 ,总结出一个适合于中小型网站网页下载的爬行虫算法。并使用jBuider8.0工具实现了该算法。通过实验分析 ,该程序下载的网页数的速度为 1882 4 2个网页 /分和 4 1.92 74 .5 9KB/秒。
[Abstract]:Crawler algorithm is a hot topic in search engine. By analyzing the main ways of designing and implementing the existing crawler algorithm, weighing its advantages and disadvantages, a crawler algorithm suitable for downloading web pages of small and medium-sized websites is summarized. The algorithm is implemented with jBuider8.0 tool. The experimental results show that the number of pages downloaded by the program is 1882 42 pages / min and 41.92 74.5 9KB/ seconds.
【作者单位】： 西华大学计算机科学与工程系 西华大学计算机科学与工程系 西华大学计算机科学与工程系
【分类号】：TP311.1

【参考文献】

相关期刊论文 前1条

1 宋聚平,王永成,滕伟,许欢庆;搜索引擎中Robot搜索算法的优化[J];情报学报;2002年02期

【共引文献】

相关期刊论文 前10条

1 汪斌;张云伟;刘健;陈晶;;一种面向农业信息主题网络爬虫的设计[J];安徽农业科学;2009年20期

2 汪涛,樊孝忠,顾益军,刘林;基于概念分析的主题爬虫设计[J];北京理工大学学报;2004年10期

3 查志琴;;基于行模式的网页信息提取算法[J];常州工学院学报;2007年04期

4 高波;;一种面向主题的搜索引擎的实现[J];常州工学院学报;2008年02期

5 毛晓蛟;;搜索引擎中网络蜘蛛的研究与实现[J];电脑编程技巧与维护;2010年18期

6 刘刚;于力超;;搜索引擎中网络蜘蛛的设计与实现[J];电脑与信息技术;2007年04期

7 高磊;徐东平;;启发式算法在搜索引擎的应用[J];电脑知识与技术(学术交流);2007年02期

8 蒯晓童,王银娣;搜索引擎Robot技术的优化算法研究[J];地理空间信息;2004年04期

9 包宇宁;使用Java编程解析HTML文档[J];福建电脑;2004年09期

10 王曙光,张莉,张春元;中文搜索引擎的原理与改进策略[J];福建电脑;2004年11期

相关会议论文 前2条

1 杨卫明;;独立式搜索引擎原理及存在问题分析[A];2008年计算机应用技术交流会论文集[C];2008年

2 吴春胤;陈联诚;俞守华;;基于AgMES的搜索引擎的设计与实现[A];农业工程科技创新与建设现代农业——2005年中国农业工程学会学术年会论文集第三分册[C];2005年

相关博士学位论文 前4条

1 张宏斌;信息获取中的两类不确定问题研究[D];华中科技大学;2004年

2 杜亚军;搜索引擎智能行为的研究及实现[D];西南交通大学;2005年

3 叶作亮;基于制造网格的制造资源管理若干关键技术研究[D];浙江大学;2006年

4 刘东飞;智能双语搜索方法及搜索引擎的研究[D];武汉理工大学;2009年

相关硕士学位论文 前10条

1 雷斌;基于Java技术的智能化搜索引擎的研究与设计[D];哈尔滨工程大学;2010年

2 于爱军;NERMS中基于Internet的搜索引擎研究与实现[D];吉林大学;2004年

3 张红;搜索引擎中个性化检索技术的研究与应用[D];兰州理工大学;2004年

4 常晓燕;基于Java的新闻搜索引擎的设计与实现[D];西南交通大学;2004年

5 陆志海;分布式教育资源整合系统构建初探[D];南京师范大学;2004年

6 区玉明;客户保持中两个问题的研究：对网站感兴趣用户的识别和网站质量评价[D];广西师范大学;2004年

7 张敏;基于Web挖掘的个性化信息检索研究[D];山东科技大学;2004年

8 刘凡;Web页面跟踪系统的研究与实现[D];清华大学;2003年

9 王亮;数字化图书馆基本体系及实现[D];华中科技大学;2004年

10 王军;中文搜索引擎的设计与实现[D];华中科技大学;2004年

【相似文献】

相关期刊论文 前10条

1 ;一种现象 两种看法[J];每周电脑报;1997年34期

2 张继刚;搜索引擎使用技巧[J];网络与信息;1999年09期

3 陈建芳;中文搜索引擎的应用技巧[J];情报探索;2000年02期

4 解玉洁,吴 梅;搜索引擎的检索性能及应用[J];山东电子;2000年01期

5 ;网海导航——如何快速查找信息[J];国际医药卫生导报;2000年07期

6 王必勇;在INTERNET上搜索信息[J];饲料广角;2000年02期

7 ;关键词搜索[J];每周电脑报;2000年38期

8 陈冰;;饿狼一样的网站提交工具——“提交饿狼”[J];科学之友;2000年07期

9 涂强;;登录奇兵[J];电脑界(应用文萃);2000年10期

10 张军,陈益君;搜索引擎的功能及其局限性探讨[J];情报科学;2001年05期

相关会议论文 前10条

1 彭轲;廖闻剑;;浅析搜索引擎[A];中国通信学会第五届学术年会论文集[C];2008年

2 李丹;;如何利用搜索引擎查找中医药信息[A];中国中医药信息研究会第二届理事大会暨学术交流会议论文汇编[C];2003年

3 邓长寿;郭景峰;杨焱林;邓安远;;下一代Web搜索引擎初探[A];第十八届全国数据库学术会议论文集（研究报告篇）[C];2001年

4 维尼拉·木沙江;吐尔洪·吾司曼;;维、哈、柯文搜索引擎中网页爬行器的设计与实现[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年

5 汤薇;曾艳;;构建校园网搜索引擎必要性分析[A];广西计算机学会2008年年会论文集[C];2008年

6 张怡;查贵庭;;SEO在信息服务中的应用研究[A];2010年中国索引学会年会暨学术研讨会论文集[C];2010年

7 姚树宇;赵少东;;一种使用分布式技术的搜索引擎[A];2005年全国开放式分布与并行计算学术会议论文集[C];2005年

8 倪俊峰;;基于黄页搜索引擎的关键字排名广告系统的设计与实现[A];2005年中国索引学会年会暨学术研讨会论文集[C];2005年

9 陈援非;何哲;朱珍民;;基于普适计算的个性化搜索技术[A];第二届和谐人机环境联合学术会议(HHME2006)——第2届中国普适计算学术会议(PCC'06)论文集[C];2006年

10 杨萌;李春丽;朱明;;网络搜索技术下的编辑工作[A];学报编辑论丛（第十一集）[C];2003年

相关重要报纸文章 前10条

1 惠正一;比尔·盖茨:微软不怕Google[N];第一财经日报;2005年

2 赛迪顾问股份有限公司互联网与电子商务咨询中心 常燕杰;搜索，还是门户[N];中国计算机报;2005年

3 陈珊;浙江移动推出手机搜索引擎服务[N];人民邮电;2005年

4 赵法忠;搜索引擎还需悠着点[N];中国经营报;2005年

5 金朝力;搜索引擎火拼搜索质量[N];北京商报;2006年

6 李一鑫;搜索排名的红与黑[N];财经时报;2007年

7 本报记者　 赵晓辉 孟昭丽;搜索引擎驶入“避风港”[N];中国证券报;2006年

8 孙t;搜索引擎惊喜侵权官司止于“避风港”？[N];第一财经日报;2006年

9 姜蕊;问天下谁识搜索？[N];中国高新技术产业导报;2006年

10 李同;怎样选择“付费搜索引擎”[N];光明日报;2006年

相关博士学位论文 前10条

1 岑荣伟;基于用户行为分析的搜索引擎评价研究[D];清华大学;2010年

2 李群;主题搜索引擎聚类算法的研究[D];北京林业大学;2011年

3 苏君华;面向搜索引擎的技术接受模型研究[D];南京大学;2011年

4 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年

5 郭眈;中文互联网视频搜索引擎系统策略研究[D];北京交通大学;2012年

6 王昤璞;基于用户体验的互联网搜索引擎医学信息检索可用性评估研究[D];吉林大学;2010年

7 李莎莎;面向搜索引擎的自然语言处理关键技术研究[D];国防科学技术大学;2011年

8 白玉琪;空间信息搜索引擎研究[D];中国科学院研究生院（遥感应用研究所）;2003年

9 费巍;搜索引擎检索功能的性能评价研究[D];武汉大学;2010年

10 黄河;农业复杂自适应搜索模型研究及实现[D];中国科学技术大学;2010年

相关硕士学位论文 前10条

1 薛云;Internet上元搜索引擎的研究与设计[D];太原理工大学;2003年

2 王春花;基于Nutch的农业搜索引擎检索结果排序策略的研究[D];西北农林科技大学;2010年

3 李雷;基于Nutch的农业信息搜索引擎实现和优化[D];吉林大学;2011年

4 董晨;基于模糊聚类的个性化搜索引擎的研究[D];福州大学;2005年

5 封俊;基于Hadoop的分布式搜索引擎研究与实现[D];太原理工大学;2010年

6 李浩;分布式教育网信息检索系统的研究和实现[D];华南理工大学;2010年

7 尉建兴;基于Lucene搜索引擎的研究与应用[D];太原理工大学;2011年

8 李建平;智能化WEB信息搜索引擎的研究与实现[D];大庆石油学院;2003年

9 田生伟;基于涉农词典的搜索引擎的研究与实践[D];新疆大学;2004年

10 王军;中文搜索引擎的设计与实现[D];华中科技大学;2004年

，

本文编号：2519815