基于网页分块技术主题爬行器的实现

发布时间：2018-11-27 10:07

【摘要】：针对目前通用搜索引擎搜索到的结果过多、与主题相关性不强的现状,提出一种基于网页分块技术的主题爬行器实现方法,并实现了一个原型系统Crawler1.实验结果表明,本系统性能较好,所爬网页的相关度在55%以上.
[Abstract]:In view of the current situation that the search results of the general search engine are too many and the correlation with the topic is not strong, this paper proposes a method of implementing the theme crawler based on the web page partitioning technology, and implements a prototype system, Crawler1.. The experimental results show that the performance of the system is good and the correlation degree of the web pages is over 55%.
【作者单位】： 吉林大学计算机科学与技术学院 吉林大学计算机科学与技术学院 吉林大学计算机科学与技术学院
【基金】：国家自然科学基金(批准号:60373099)
【分类号】：TP393.092

【相似文献】

相关期刊论文 前10条

1 李光敏;陈年生;许新山;;面向网页结构特征的Hopfield算法[J];计算机系统应用;2011年07期

2 ;[J];;年期

3 ;[J];;年期

4 ;[J];;年期

5 ;[J];;年期

6 ;[J];;年期

7 ;[J];;年期

8 ;[J];;年期

9 ;[J];;年期

10 ;[J];;年期

相关会议论文 前1条

1 王英;左万利;王鑫;彭涛;;基于多分类器的Deep Web入口发现[A];第六届全国信息检索学术会议论文集[C];2010年

相关博士学位论文 前2条

1 陈竹敏;面向垂直搜索引擎的主题爬行技术研究[D];山东大学;2008年

2 张长利;面向特定领域的互联网舆情分析技术研究[D];吉林大学;2011年

相关硕士学位论文 前10条

1 姚斌;设计和实现一个主题搜索引擎[D];内蒙古大学;2004年

2 曹红;林业主题搜索引擎研究[D];北京林业大学;2005年

3 张长利;网页相似性算法的研究与实现[D];吉林大学;2005年

4 柳周频;基于链接上下文的网页预测[D];吉林大学;2006年

5 董静茹;基于链接背景信息的启发式主题爬行[D];吉林大学;2006年

6 聂颂;具有自动分类功能的主题搜索引擎的研究[D];天津大学;2004年

7 王煜;基于页面划分的网面预测[D];吉林大学;2005年

8 杨月奎;基于语义的主题爬行方向研究[D];西华大学;2009年

9 王玉婷;基于用户本体的初始URLs选择方法的研究[D];西华大学;2009年

10 万小容;基于主题信息采集中网页分类系统研究[D];昆明理工大学;2006年

，

本文编号：2360345