网络爬虫效率瓶颈的分析与解决方案

发布时间：2019-07-04 19:23

【摘要】：网络爬虫的效率,直接关系到搜索引擎系统为用户提的供服务质量。如何设计高效、快速的网络爬虫,成为目前网络爬虫研究的热点。要提高网络爬虫的爬行效率,除了需要改进网络爬虫的爬行策略之外,还需要优化网络爬自身的设计,改进网络爬虫自身的结构,消除效率瓶颈。通过对网络爬虫结构、应用环境以及用户要求的分析,提出一个通用网络爬虫的改进设计方案,并通过实验得到较好的测试结果。
文内图片：
图片说明：Internet的有向图模型示意图
[Abstract]:The efficiency of network crawler is directly related to the quality of service proposed by search engine system for users. How to design efficient and fast web crawler has become the focus of network crawler research at present. In order to improve the crawling efficiency of network crawlers, it is not only necessary to improve the crawling strategy of network crawlers, but also to optimize the design of network crawlers, improve the structure of network crawlers and eliminate the bottleneck of efficiency. Based on the analysis of network crawler structure, application environment and user requirements, an improved design scheme of general network crawler is proposed, and good test results are obtained through experiments.
【作者单位】： 西南交通大学信息科学与技术学院 西南交通大学信息科学与技术学院 西南交通大学信息科学与技术学院
【分类号】：TP393.09

【参考文献】

相关期刊论文 前2条

1 刘金红;陆余良;;主题网络爬虫研究综述[J];计算机应用研究;2007年10期

2 苗长芬,冯伟华;面向主题Crawler的设计与实现[J];平原大学学报;2005年03期

相关硕士学位论文 前3条

1 陈杰;主题搜索引擎中网络蜘蛛搜索策略研究[D];浙江大学;2006年

2 何世林;基于Java技术的搜索引擎研究与实现[D];西南交通大学;2006年

3 朱玉丽;基于网格技术的主题爬虫算法优化的研究与实现[D];沈阳工业大学;2007年

【共引文献】

相关期刊论文 前10条

1 王正;陆余良;刘金红;施凡;;基于Lucene的互联网文献信息检索系统的研究[J];安徽大学学报(自然科学版);2009年05期

2 毛晓蛟;;搜索引擎中网络蜘蛛的研究与实现[J];电脑编程技巧与维护;2010年18期

3 唐波;;网络爬虫的设计与实现[J];电脑知识与技术;2009年11期

4 任惠静;;基于Lucene的面向主题搜索引擎的索引技术的研究[J];电脑知识与技术;2010年04期

5 王岩;;搜索引擎中网络爬虫技术的发展[J];电信快报;2008年10期

6 周民;邱雅;王华彬;;网络舆情分析中智能爬虫的设计[J];电脑知识与技术;2011年33期

7 蒋元成;蔡皖东;;基于主动探测的BT行为监测系统设计与实现[J];航空计算技术;2009年01期

8 秦学勇;;基于互联网资源的学科Ontology构建研究[J];廊坊师范学院学报(自然科学版);2011年02期

9 王朝斌;金洪颖;赵刚;;基于本体的搜索引擎研究[J];西华师范大学学报(自然科学版);2010年04期

10 白鹤;汤迪斌;王劲林;;分布式多主题网络爬虫系统的研究与实现[J];计算机工程;2009年19期

相关会议论文 前2条

1 吴晨生;刘彦君;张鲁冀;董晓晴;;科普搜索的研究与实现[A];数字博物馆研究与实践（2009）[C];2010年

2 费海强;郝志宇;云晓春;;网络攻防工具库系统关键技术研究[A];2011年全国通信安全学术会议论文集[C];2011年

相关博士学位论文 前1条

1 田俊华;基于本体知识库的教学资源自动采集技术研究[D];南京师范大学;2011年

相关硕士学位论文 前10条

1 王思丽;藏文网页自动发现与采集技术研究[D];西北民族大学;2010年

2 贾春鑫;面向主题的双约束网页采集方法的研究和实现[D];上海交通大学;2011年

3 王燕;网站敏感信息监视系统设计与实现[D];解放军信息工程大学;2008年

4 周旭;BBS热点分析系统研究[D];北京交通大学;2007年

5 胡晓博;面向特定领域的专业搜索引擎的架构与实现方法[D];哈尔滨工程大学;2007年

6 程锦;面向网络化制造资源的垂直搜索技术研究与应用[D];贵州大学;2007年

7 张霞;主题式搜索引擎中Web页面检索与推荐技术的研究[D];南京航空航天大学;2007年

8 曹杰;基于Web挖掘的纺织专业搜索引擎设计[D];东华大学;2008年

9 郑健珍;定题爬虫搜索策略研究[D];厦门大学;2007年

10 薛涛;网络服务智能监测平台的研究[D];北京交通大学;2008年

【二级参考文献】

相关期刊论文 前10条

1 孙会峰;许德刚;;基于WEB服务的中间件在异构系统集成中的应用[J];电脑开发与应用;2006年03期

2 王平;贾化萍;;C/S和B/S结合模式下应用系统的研究与开发[J];电脑与信息技术;2006年01期

3 李名智;中文搜索引擎:现状、问题及对策[J];大学图书馆学报;1998年06期

4 苏云;搜索引擎Google检索技巧研究[J];甘肃科技;2005年02期

5 肖侬,任浩,徐志伟,唐志敏,谢向辉,李伟;基于资源目录技术的网格系统软件设计与实现[J];计算机研究与发展;2002年08期

6 王意洁,肖侬,任浩,卢锡城;数据网格及其关键技术研究[J];计算机研究与发展;2002年08期

7 张敏,高剑峰,马少平;基于链接描述文本及其上下文的Web信息检索[J];计算机研究与发展;2004年01期

8 林彤,江志军;Internet的搜索引擎[J];计算机工程与应用;2000年05期

9 朱华宇,孙正兴,张福炎;一个基于向量空间模型的中文文本自动分类系统[J];计算机工程;2001年02期

10 李盛韬,赵章界,余智华;基于主题的Web信息采集系统的设计与实现[J];计算机工程;2003年17期

相关博士学位论文 前1条

1 陈定权;自动主题搜索的应用研究[D];中国科学院研究生院（文献情报中心）;2003年

相关硕士学位论文 前8条

1 许林杰;中文文本分词研究[D];山东师范大学;2003年

2 武琳;网络环境下信息检索语言研究[D];郑州大学;2003年

3 戴振中;基于OGSA的网格计算核心技术研究[D];华东师范大学;2004年

4 朱前线;以网格技术为基础的数据挖掘技术在分布式的选择性信息汇集过程中的应用研究[D];武汉理工大学;2005年

5 王斐;基于增量反馈和自适应机制的主题爬虫系统的设计与实现[D];南京理工大学;2005年

6 王晓华;基于内容的搜索引擎技术研究及其应用[D];郑州大学;2005年

7 刘壁松;策略可扩展的搜索引擎研究和实现[D];清华大学;2005年

8 史锦荣;基于多Agent智能搜索引擎模型研究[D];太原理工大学;2005年

【相似文献】

相关期刊论文 前10条

1 牛小梅;宋喜忠;;基于TCP的Java网络通信研究[J];天中学刊;2011年05期

2 ASK;;在Windows 7中使用多线程加快文件复制[J];电脑迷;2011年15期

3 魏文胜;周苏峡;;套接字在网络通信中的应用[J];电脑知识与技术;2011年17期

4 张未名;宗国仕;;如何让学生理解计算机套接字的作用[J];华章;2011年19期

5 陈喜春;锡泊;;基于C++实现的面向Agent编程[J];电脑知识与技术;2011年23期

6 陈丹捷;谢毅;冯洪海;;《JAVA语言程序设计》教学中案例教学的探索与实践[J];科技资讯;2011年22期

7 刘幺和;楚晓蕊;王莉;;基于三段式的物联网设计方法[J];计算机系统应用;2011年07期

8 陈军;刘丽;刘晓亚;;基于套接字编程技术的网络监控系统设计[J];信阳师范学院学报(自然科学版);2011年03期

9 王元鹏;;构建基于双向CATV网络的校园视频点播系统[J];中国教育信息化;2011年06期

10 ;业界动态[J];电子世界;2010年05期

相关会议论文 前10条

1 邹红霞;;.NET环境的通用异步套接字通信的实现[A];全国第三届信号和智能信息处理与应用学术交流会专刊[C];2009年

2 刘春霞;郭丽虹;;基于多线程和数据库的Web搜索引擎的实现[A];第六届全国计算机应用联合学术会议论文集[C];2002年

3 刘文红;李中天;;IP多播技术在Windows NT/Windows95下的应用[A];全国计算机网络应用年会论文集（2001）[C];2001年

4 付孟若;张其善;;基于多线程的通信网关系统的设计与实现[A];图像 仿真 信息技术——第二届联合学术会议论文集[C];2002年

5 叶小岭;张颖超;赵丽玲;刘雨华;;环境信息的共享与远程访问问题探讨[A];第16届中国过程控制学术年会暨第4届全国故障诊断与安全性学术会议论文集[C];2005年

6 洪继钦;韩亮;龚光红;;Linux下RTI网络功能实现[A];'2008系统仿真技术及其应用学术会议论文集[C];2008年

7 林晟;张光新;;OPC在啤酒自动化控制系统中的应用[A];中国仪器仪表学会第六届青年学术会议论文集[C];2004年

8 姜德胜;成叶红;孙秀霞;;一种基于Windows多线程的数据采集技术[A];第六届全国计算机应用联合学术会议论文集[C];2002年

9 周大刚;龙昭华;;多线程在无线网络处理中的应用[A];’2004计算机应用技术交流会议论文集[C];2004年

10 逯龙;;多串口通信在LED异步控制系统中的应用[A];2008全国LED显示应用技术交流暨产业发展研讨会文集[C];2008年

相关重要报纸文章 前10条

1 ;IBM向Power 5添加多线程功能[N];计算机世界;2003年

2 李红;Windows XP SP2 多线程访问提速秘技[N];中国电脑教育报;2005年

3 CPW记者　凡妮　;Sun Fire V490和V890采用突破性多线程芯片技术[N];电脑商报;2004年

4 旭;多核多线程 H3C高端路由器新特点[N];网络世界;2007年

5 特约作者 王育文;让游戏实现网络通讯功能[N];电脑报;2007年

6 郭长佑;多核与多线程——差别到底在哪里？[N];电子资讯时报;2006年

7 ;IBM多核多线程CPU将面世[N];计算机世界;2003年

8 张志刚;多线程走进网络[N];中国计算机报;2006年

9 本报记者　　谢文砚;要重视并行环境开发[N];网络世界;2006年

10 记者 张博;MIPS科技公司推出业界首款多线程 多处理器IP核[N];电子资讯时报;2008年

相关博士学位论文 前10条

1 刘祯;网络处理器存储子系统中Cache机制的研究[D];清华大学;2006年

2 李凤华;分布式信息系统安全的理论与关键技术研究[D];西安电子科技大学;2009年

3 蒋江;异构集群系统中基于进程迁移机制的负载平衡算法的研究[D];国防科学技术大学;2002年

4 夏均忠;基于网络的军车安全性能智能检测和隐患预警系统的研究[D];天津大学;2005年

5 朱霞;线程级并行的硬件技术研究[D];西北工业大学;2003年

6 姚益平;高性能分布式交互仿真运行支撑平台关键技术研究[D];国防科学技术大学;2003年

7 邓濵;前瞻多线程编译优化技术的研究与实现[D];国防科学技术大学;2001年

8 翟巍;三维GIS中大规模场景数据获取、组织及调度方法的研究与实现[D];大连理工大学;2003年

9 王颖;嵌入式可重构计算系统的设计技术研究[D];复旦大学;2009年

10 黄凯;面向特定应用的MPSoC设计流程平台研究[D];浙江大学;2008年

相关硕士学位论文 前10条

1 苏庆堂;分布交互仿真中数据通信的研究与实现[D];昆明理工大学;2005年

2 姚登举;基于多线程的视频会议控制系统的设计与实现[D];哈尔滨理工大学;2007年

3 杨永霞;基于WINSOCKET技术的传真管理系统的设计[D];大连理工大学;2002年

4 安晓嵘;Easy Manager网络管理系统的设计与实现[D];西北工业大学;2006年

5 张永军;一个基于TCP协议的分组文件共享系统的设计与实现[D];西南交通大学;2003年

6 李强;DSRC协议应用层研究与部分实现[D];西南交通大学;2005年

7 吴超;卫星测试数据接收及存储的实现[D];湖南大学;2005年

8 段晨升;基于vc软件开发平台的数据采集系统的设计与开发[D];内蒙古大学;2005年

9 雷旭;嵌入式Linux操作系统的研究与开发[D];长安大学;2005年

10 马文静;大坝安全监测仿真实验系统的研究与开发[D];河海大学;2006年

，

本文编号：2510161