基于关键词的主题网络爬虫

发布时间：2017-11-13 14:03

  本文关键词：基于关键词的主题网络爬虫

  更多相关文章： 网络爬虫 基于特定主题的网络爬虫 本体 关键词 知识路径

【摘要】：通常来说,用户从搜索引擎获取的网页中,大部分都是不符合特定需求的,只有一小部分才是想要的结果。网络爬虫在搜索引擎中扮演着重要的角色,起着关键性的作用。本文主要讲述了基于关键词的网络爬虫,通过使用相关性决策机制和本体的知识来设计出最合适的爬虫抓取路径。和传统的网络爬虫相比较,本文设计的爬虫具有最优性,并通过高准确性来提高搜索效率。
【作者单位】： 南京航空航天大学;
【分类号】：TP391.3
【正文快照】： 0引言网络爬虫主要下载主题相关的网页或者满足用户需求的特定网页,而不是像传统的搜索引擎那样下载整个Web网页库。因此,主题爬虫的基本要求是选择那些满足用户需求的网页。链接分析算法和网页排序算法一样,通常根据URLs的相关性和搜索策略对URLs进行排序,然后优先下载那些特

【相似文献】

中国期刊全文数据库 前10条

1 彭轲;廖闻剑;;基于浏览器服务的网络爬虫[J];硅谷;2009年04期

2 王江红;朱丽君;李彩虹;;一种新型网络爬虫的设计与实现[J];微计算机信息;2010年03期

3 于成龙;于洪波;;网络爬虫技术研究[J];东莞理工学院学报;2011年03期

4 焦赛美;;网络爬虫技术的研究[J];琼州学院学报;2011年05期

5 宋海洋;刘晓然;钱海俊;;一种新的主题网络爬虫爬行策略[J];计算机应用与软件;2011年11期

6 刘金红;陆余良;;主题网络爬虫研究综述[J];计算机应用研究;2007年10期

7 邹海亮;孙莉;;可定制的聚焦网络爬虫[J];电子科技;2009年01期

8 杨松梅;;网络爬虫[J];硅谷;2009年15期

9 张红云;刘炜;熊前兴;;一种基于语义本体的网络爬虫模型[J];计算机应用与软件;2009年11期

10 张洪辰;;新浪微博数据抓取——高级搜索[J];信息与电脑(理论版);2013年11期

中国重要会议论文全文数据库 前4条

1 夏诏杰;郭力;李晓霞;;化学主题网络爬虫的研究[A];第十届全国计算(机)化学学术会议论文摘要集[C];2009年

2 李楠;谷利泽;钮心忻;;用于XSS扫描的网络爬虫的设计与实现[A];2010年全国通信安全学术会议论文集[C];2010年

3 张军;于浩;内野宽治;;UGC中产品评论信息的挖掘[A];内容计算的研究与应用前沿——第九届全国计算语言学学术会议论文集[C];2007年

4 徐剑;柯贵明;;网络爬虫技术在搜索引擎中的应用[A];全国第21届计算机技术与应用学术会议（CACIS·2010）暨全国第2届安全关键技术与应用学术会议论文集[C];2010年

中国硕士学位论文全文数据库 前10条

1 陶俊文;基于Heritrix框架的专业镇信息网络爬虫系统[D];华南理工大学;2015年

2 马汉超;基于主题网络爬虫的汽车行业多元信息web系统设计与实现[D];西南交通大学;2015年

3 金梅;网络爬虫性能提升与功能拓展的研究与实现[D];吉林大学;2012年

4 芮虎;比价购物平台中网络爬虫的设计与实现[D];华东理工大学;2013年

5 杨东权;面向人脸检测的主题网络爬虫系统[D];重庆大学;2015年

6 龚秋艳;并行网络爬虫设计与实现[D];华东师范大学;2010年

7 么士宇;基于分布式计算的网络爬虫技术研究[D];大连海事大学;2011年

8 陈奋;过滤型网络爬虫的研究与设计[D];厦门大学;2007年

9 赵茉莉;网络爬虫系统的研究与实现[D];电子科技大学;2013年

10 谭龙远;基于领域的网络爬虫技术的研究与实现[D];武汉理工大学;2009年

，

本文编号：1180969