Larbin体系结构的研究与优化

发布时间：2018-06-13 21:59

  本文选题：搜索引擎 + 网络爬虫　； 参考：《网络与信息安全学报》2016年08期

【摘要】：网络爬虫是搜索引擎的重要组成部分,其性能直接影响搜索引擎的准确性和及时性。Larbin是一个高效、简单、功能比较完善的开源爬虫框架,基于此,介绍了几种典型的开源爬虫框架,并对其进行多维度比较;对Larbin体系结构进行详细的介绍;然后指出Larbin在程序结构和流程方面存在的不足,提出对应的优化方案;测试结果表明,改进后的方案在速度和性能方面都有所提高。
[Abstract]:The web crawler is an important part of the search engine. Its performance directly affects the accuracy and timeliness of the search engine..Larbin is an efficient, simple and functional open source crawler framework. Based on this, several typical open source crawler frameworks are introduced, and their multi-dimensional comparison is carried out. The Larbin architecture is described in detail. Then it points out the shortcomings of Larbin in the structure and process of the program, and puts forward the corresponding optimization scheme; the test results show that the improved scheme is improved in speed and performance.
【作者单位】： 北京电子科技学院信息安全系;西安电子科技大学计算机学院;
【基金】：国家重点研发计划基金资助项目(No.2016YFB0800304) 北京市自然科学基金资助项目(No.4152048) 江苏省自然科学基金资助项目(No.BK20150787) 北京电子科技学院2016年春蕾计划基金资助项目(No.2016CL04)~~
【分类号】：TP393.092;TP391.3

【相似文献】

相关期刊论文 前10条

1 彭轲;廖闻剑;;基于浏览器服务的网络爬虫[J];硅谷;2009年04期

2 王江红;朱丽君;李彩虹;;一种新型网络爬虫的设计与实现[J];微计算机信息;2010年03期

3 于成龙;于洪波;;网络爬虫技术研究[J];东莞理工学院学报;2011年03期

4 李志义;;网络爬虫的优化策略探略[J];现代情报;2011年10期

5 焦赛美;;网络爬虫技术的研究[J];琼州学院学报;2011年05期

6 宋海洋;刘晓然;钱海俊;;一种新的主题网络爬虫爬行策略[J];计算机应用与软件;2011年11期

7 王娟;吴金鹏;;网络爬虫的设计与实现[J];软件导刊;2012年04期

8 金鲁峰;邰剑秋;张旭;;基于关键词过滤与结构化输出的网络爬虫系统设[J];中国传媒科技;2012年07期

9 郭涛;黄铭钧;;社区网络爬虫的设计与实现[J];智能计算机与应用;2012年04期

10 吴菊英;贾炅昊;冯秀芳;;基于农业领域的网络爬虫[J];电脑开发与应用;2012年08期

相关会议论文 前4条

1 夏诏杰;郭力;李晓霞;;化学主题网络爬虫的研究[A];第十届全国计算(机)化学学术会议论文摘要集[C];2009年

2 李楠;谷利泽;钮心忻;;用于XSS扫描的网络爬虫的设计与实现[A];2010年全国通信安全学术会议论文集[C];2010年

3 张军;于浩;内野宽治;;UGC中产品评论信息的挖掘[A];内容计算的研究与应用前沿——第九届全国计算语言学学术会议论文集[C];2007年

4 徐剑;柯贵明;;网络爬虫技术在搜索引擎中的应用[A];全国第21届计算机技术与应用学术会议（CACIS·2010）暨全国第2届安全关键技术与应用学术会议论文集[C];2010年

相关硕士学位论文 前10条

1 陶俊文;基于Heritrix框架的专业镇信息网络爬虫系统[D];华南理工大学;2015年

2 马汉超;基于主题网络爬虫的汽车行业多元信息web系统设计与实现[D];西南交通大学;2015年

3 黄永军;面向垂直搜索的网络爬虫设计与实现[D];北京邮电大学;2013年

4 罗路天;垂直搜索引擎中主题网络爬虫算法的设计与研究[D];广东工业大学;2016年

5 胡博;基于网络爬虫的内容资源评价研究[D];北京理工大学;2015年

6 金梅;网络爬虫性能提升与功能拓展的研究与实现[D];吉林大学;2012年

7 芮虎;比价购物平台中网络爬虫的设计与实现[D];华东理工大学;2013年

8 杨东权;面向人脸检测的主题网络爬虫系统[D];重庆大学;2015年

9 龚秋艳;并行网络爬虫设计与实现[D];华东师范大学;2010年

10 么士宇;基于分布式计算的网络爬虫技术研究[D];大连海事大学;2011年

，

本文编号：2015597