基于分层结构保留的增量网络爬虫算法

发布时间：2018-04-14 07:49

本文选题：网络爬虫 + URL过滤器　；参考：《计算机应用研究》2013年08期

【摘要】：为了提高目前爬虫算法抓取结果的有效性,提出了一种旨在获取有效信息的改进网络爬虫算法,主要设计了信息的分层结构保留策略和URL过滤模式。在改进算法中,网络资源定位符被分层存储,在保留信息全部拓扑关系的基础上,将交错复杂的URL网络系统从一个图结构变为一个层次分明的树结构。在执行结构模式下,实现了增量爬虫算法。仿真实验以实际网站的BBS为测试数据,结果表明,改进算法比现有网络爬虫算法在爬行速度、下载效率与信息有效性等方面有较大的优势。因此,分层结构策略与URL过滤模式可以在增加少量计算时间的前提下极大提高爬虫抓取页面的有效性。
[Abstract]:In order to improve the reliability of the crawler algorithm to grab the results, put forward a kind of effective information to obtain improved web crawler algorithm, the main design of the hierarchical structure of information retention strategy and URL filtering model. In the improved algorithm, cyber source locator is based on hierarchical storage, keep all information on the topological relations, the staggered URL complex network system from a graph structure into a hierarchical tree structure. In the implementation of the structure mode, the incremental crawler algorithm. Simulation with actual website BBS as the test data, the results show that the improved algorithm is better than the existing algorithm in web crawler crawling speed, has the advantage of greater efficiency and download the effectiveness of information and so on. Therefore, the hierarchical structure of URL strategy and filtering mode can be a small increase in computing time greatly improve the effectiveness of the crawler to crawl the page.

【作者单位】：乐山师范学院物理与电子工程学院;华南理工大学计算机科学与工程学院广州510006;Oracle甲骨文研究开发中心(深圳)有限公司;华南理工大学软件学院;乐山师范学院数学与信息科学学院;
【基金】：国家自然科学基金资助项目(61003066,61170193) 广东省自然科学基金资助项目(S2012010010613) 国家教育部博士点基金资助项目(20090172120035) 中央高校基本科研业务费重点项目(2012ZM0083)
【分类号】：TP393.092

【参考文献】