网络爬虫排除标准

发布时间：2019-06-17 17:50

【摘要】：正网络爬虫排除标准,即Robots协议,也称为爬虫协议、机器人协议等。Robots协议是网站出于安全和隐私考虑,防止搜索引擎抓取敏感信息而设置的,所有内容都包含在一个文本文件(robots.txt)中,是搜索引擎访问一个网站时要查看的第一个文件。搜索引擎的原理是通过一种爬虫(spider)程序,自动搜集互联网上的网页并获取相关信息。而鉴于网络安全与隐私的考
[Abstract]:......
【分类号】：TP391.3

【相似文献】

相关期刊论文 前10条

1 邹海亮;孙莉;;可定制的聚焦网络爬虫[J];电子科技;2009年01期

2 陶荣;陈燕;;基于Lucene小型搜索引擎的研究与实现[J];大众科技;2010年02期

3 徐远超;刘江华;刘丽珍;关永;;基于Web的网络爬虫的设计与实现[J];微计算机信息;2007年21期

4 谢娟文;秦淑娟;焦爱胜;;人工智能在搜索引擎资源获取中的应用[J];机械研究与应用;2009年02期

5 陈丽君;林怀忠;;搜索引擎页面刷新策略研究综述[J];计算机系统应用;2009年07期

6 陈鹤年;季文天;王成;李俊青;;支持Gzip压缩和编码转换的网络爬虫设计[J];电脑知识与技术;2010年30期

7 杨松梅;;网络爬虫[J];硅谷;2009年15期

8 王冬;;中文信息检索关键技术分析[J];电脑知识与技术(学术交流);2007年15期

9 王冬;张运波;黄应红;;中文信息检索关键技术分析[J];电脑知识与技术(学术交流);2007年17期

10 刘凡平;高艳华;于炯;张伟;;基于关键决策方法的站内搜索研究与实现[J];微电子学与计算机;2010年08期

相关会议论文 前10条

1 刘凡平;高艳华;于炯;张伟;;基于关键决策方法的站内搜索研究与实现[A];2010年全国开放式分布与并行计算机学术会议论文集[C];2010年

2 彭轲;廖闻剑;;浅析搜索引擎[A];中国通信学会第五届学术年会论文集[C];2008年

3 徐剑;柯贵明;;网络爬虫技术在搜索引擎中的应用[A];全国第21届计算机技术与应用学术会议（CACIS·2010）暨全国第2届安全关键技术与应用学术会议论文集[C];2010年

4 邓长寿;郭景峰;杨焱林;邓安远;;下一代Web搜索引擎初探[A];第十八届全国数据库学术会议论文集（研究报告篇）[C];2001年

5 倪俊峰;;基于黄页搜索引擎的关键字排名广告系统的设计与实现[A];2005年中国索引学会年会暨学术研讨会论文集[C];2005年

6 张怡;查贵庭;;SEO在信息服务中的应用研究[A];2010年中国索引学会年会暨学术研讨会论文集[C];2010年

7 陈援非;何哲;朱珍民;;基于普适计算的个性化搜索技术[A];第二届和谐人机环境联合学术会议(HHME2006)——第2届中国普适计算学术会议(PCC'06)论文集[C];2006年

8 杨萌;李春丽;朱明;;网络搜索技术下的编辑工作[A];学报编辑论丛（第十一集）[C];2003年

9 陈磊;茹立云;马少平;;基于用户日志挖掘的搜索引擎广告效果分析[A];第四届全国学生计算语言学研讨会会议论文集[C];2008年

10 申琪君;;电子地图搜索引擎比较[A];中国地理学会2007年学术年会论文摘要集[C];2007年

相关重要报纸文章 前10条

1 博文邋译;你的隐私 搜索引擎知道[N];计算机世界;2007年

2 杨洁;搜索引擎营销市场生变[N];中国计算机报;2007年

3 刘文君;搜索引擎也在寻求创新[N];大众科技报;2007年

4 ;法国挑战谷歌推出卫星地图搜索引擎[N];人民日报;2006年

5 MirrorCity.net技术总监 姚浩;让搜索引擎回归最初梦想[N];中国文化报;2008年

6 本报记者 操秀英;国双科技以技术加服务赢得市场[N];科技日报;2009年

7 赵敏;“鱼群理论”破解搜索营销谜局[N];中国企业报;2007年

8 本报记者 樊哲高;搜索引擎三国纷争 中文市场两军对垒[N];中国电子报;2009年

9 EndTo;优化Meta讨好搜索引擎[N];电脑报;2009年

10 本报记者 马文方;Yebol：从思维科学导出搜索引擎[N];中国计算机报;2010年

相关博士学位论文 前10条

1 李群;主题搜索引擎聚类算法的研究[D];北京林业大学;2011年

2 岑荣伟;基于用户行为分析的搜索引擎评价研究[D];清华大学;2010年

3 苏君华;面向搜索引擎的技术接受模型研究[D];南京大学;2011年

4 刘佐达;分布协作式搜索引擎模型及算法研究[D];清华大学;2011年

5 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年

6 郭眈;中文互联网视频搜索引擎系统策略研究[D];北京交通大学;2012年

7 李莎莎;面向搜索引擎的自然语言处理关键技术研究[D];国防科学技术大学;2011年

8 郑文良;基于简单本体的农业P2P搜索引擎关键技术研究[D];沈阳农业大学;2013年

9 白玉琪;空间信息搜索引擎研究[D];中国科学院研究生院（遥感应用研究所）;2003年

10 费巍;搜索引擎检索功能的性能评价研究[D];武汉大学;2010年

相关硕士学位论文 前10条

1 梁萍;搜索引擎中网络爬虫及结果聚类的研究与实现[D];中国科学技术大学;2011年

2 夏亮;主题搜索引擎网络爬虫搜索策略的研究与实现[D];北京化工大学;2010年

3 龚勇;搜索引擎中网络爬虫的研究[D];武汉理工大学;2010年

4 欧建斌;基于Web挖掘与信息分类的个性化搜索引擎研究[D];暨南大学;2010年

5 徐财应;基于Lucene的搜索引擎技术的研究与改进[D];长春理工大学;2010年

6 李春生;基于WEB信息采集的分布式网络爬虫搜索引擎的研究[D];吉林大学;2009年

7 王春花;基于Nutch的农业搜索引擎检索结果排序策略的研究[D];西北农林科技大学;2010年

8 李雷;基于Nutch的农业信息搜索引擎实现和优化[D];吉林大学;2011年

9 董晨;基于模糊聚类的个性化搜索引擎的研究[D];福州大学;2005年

10 封俊;基于Hadoop的分布式搜索引擎研究与实现[D];太原理工大学;2010年

，

本文编号：2501155