一种主题知识自增长的聚焦网络爬虫

发布时间：2017-12-26 20:33

本文关键词：一种主题知识自增长的聚焦网络爬虫　出处：《计算机应用与软件》2014年05期 　论文类型：期刊论文

【摘要】：聚焦网络爬虫是各类因特网文本挖掘和信息检索应用必需的处理步骤。现有聚焦网络爬虫面临着知识描述困难、误差易被放大等挑战。发现网页中主题知识存在的若干性质,提出一种主题知识自增长的聚焦网络爬虫KAG-Crawler,在网页爬取过程中采用一种无监督的学习技术不断扩展主题知识,从而使爬虫在一个简单的初始主题描述条件下,能够以较高正确率爬取大量网页。同时为便于主题知识的扩展,还提出一种新的主题表示模型,并基于该模型构建了新的网页主题和URL主题相关度方法。最后在真实环境下的实验表明,KAG-Crawler的性能显著高于传统基于文本相似度的聚焦网络爬虫。
[Abstract]:Focusing network crawler is a necessary processing step for various Internet text mining and information retrieval applications. The existing focus network crawler is faced with the challenges of difficult knowledge description and easy to be amplified. We find some properties of existing topic knowledge in web pages, proposes a topic knowledge for self growth focused web crawler KAG-Crawler, in "climbing expanding knowledge using an unsupervised learning technique and process, so as to make the crawler in a simple description of the theme of the initial conditions, at a higher correct rate of crawling a large number of web pages. Meanwhile, in order to facilitate the extension of thematic knowledge, a new topic representation model is also proposed. Based on this model, a new webpage topic and URL topic relevance method are constructed. Finally, the experiment in real environment shows that the performance of KAG-Crawler is significantly higher than that of the traditional focus network crawler based on text similarity.
【作者单位】：湖南农业大学信息科学与技术学院;湖南农业大学植物保护学院;厦门通融软件科技有限公司;解放军73111部队博士后工作站;湘南学院计算机科学系;
【基金】：湖南省教育厅外来生物灾害预警机制研究(62021612008) 湖南省科技计划资助项目(2013FJ3032) 湖南省哲学社会科学基金项目(13YBA302)
【分类号】：TP393.092;TP391.1
【正文快照】： 0引言因特网蕴藏着大量的有用信息,Web信息检索、Web挖掘和知识发现等应用是人们从因特网上获取和处理信息的重要手段。网络爬虫是这些应用必需的第一个环节,旨在从因特网上将网页采集到本地,供后续的索引构建、信息抽取或文本挖掘等使用。然而,如今的因特网信息量巨大,给网络

【参考文献】