基于陷阱技术的网络爬虫检测

发布时间：2018-03-30 12:38

  本文选题：陷阱技术　切入点：爬虫检测　出处：《计算机应用》2010年07期

【摘要】：网络爬虫作为一种网络资源获取程序,在被搜索引擎等领域广泛应用的同时,也带来隐私泄露、版权纠纷等诸多问题,因此需要检测和约束Spider的行为。总结了现有的Spider检测方法,介绍了陷阱技术在Spider检测中的应用现状,提出利用有结构的陷阱技术,构建Spider检测的网站模型和相应的检测算法,并对该方法的检测能力进行了分析和评价,最后在通过实验系统验证陷阱检测方法与人工分析结论相一致的基础上进一步分析了该检测结果的成因。
[Abstract]:As a kind of network resource acquisition program, the web crawler is widely used by search engines and other fields, but also brings many problems such as privacy disclosure, copyright disputes, etc. Therefore, it is necessary to detect and constrain the behavior of Spider. This paper summarizes the existing methods of Spider detection, introduces the application status of trap technology in Spider detection, and puts forward a website model and corresponding detection algorithm for Spider detection based on structured trap technology. The detection ability of the method is analyzed and evaluated. Finally, the causes of the detection results are further analyzed on the basis of the conclusion that the trap detection method is consistent with the artificial analysis results.
【作者单位】： 沈阳航空工业学院计算机学院;
【基金】：辽宁省教育厅基金资助项目(2009B140)
【分类号】：TP393.08

【参考文献】

相关期刊论文 前2条

1 周立柱,林玲;聚焦爬虫技术研究综述[J];计算机应用;2005年09期

2 曾伟辉;李淼;曾伟辉;;深层网络爬虫研究综述[J];计算机系统应用;2008年05期

【共引文献】

相关期刊论文 前10条

1 孙素芬;罗长寿;张峻峰;于峰;张树亮;;农业信息资源整合系统研究与应用[J];安徽农业科学;2007年22期

2 汪斌;张云伟;刘健;陈晶;;一种面向农业信息主题网络爬虫的设计[J];安徽农业科学;2009年20期

3 廉捷;刘云;;网络舆情中的信息预处理与自动摘要算法[J];北京交通大学学报;2010年05期

4 任斌;毛应爽;;基于本体的主动学习主题爬行的研究与实现[J];长春工程学院学报(自然科学版);2011年01期

5 于成龙;于洪波;;网络爬虫技术研究[J];东莞理工学院学报;2011年03期

6 武昊;廖安平;何超英;侯东阳;;基于主题相关度的地理信息Web服务爬虫研究[J];地理与地理信息科学;2012年02期

7 陈丽君;;深层网查询表单标签识别技术研究[J];电脑开发与应用;2010年02期

8 张超;闫宏印;;多线程网络爬虫的设计与实现[J];电脑开发与应用;2012年06期

9 孙立伟;何国辉;吴礼发;;网络爬虫技术的研究[J];电脑知识与技术;2010年15期

10 吴聪聪;赵建立;;基于本体的主题爬虫的研究[J];电脑知识与技术;2011年03期

相关会议论文 前4条

1 王栋;陈勇;徐建良;;基于预测的BitTorrent种子评估方法[A];2008'中国信息技术与应用学术论坛论文集（二）[C];2008年

2 刘兵;胡学钢;;基于多链接分析的主题爬虫设计实现[A];全国第20届计算机技术与应用学术会议（CACIS·2009）暨全国第1届安全关键技术与应用学术会议论文集（上册）[C];2009年

3 徐剑;柯贵明;;网络爬虫技术在搜索引擎中的应用[A];全国第21届计算机技术与应用学术会议（CACIS·2010）暨全国第2届安全关键技术与应用学术会议论文集[C];2010年

4 戴玉刚;;藏文网页采集技术研究[A];民族语言文字信息技术研究——第十一届全国民族语言文字信息学术研讨会论文集[C];2007年

相关博士学位论文 前10条

1 吴羽;面向时间敏感对象的垂直搜索引擎关键技术研究[D];浙江大学;2011年

2 邓斌;B2C在线评论中的客户知识管理研究[D];电子科技大学;2010年

3 张翔;文本挖掘技术研究及其在综合风险信息网络中的应用[D];西北大学;2011年

4 邱峰;远程医学教育临床技能培训模式与平台研究[D];华东师范大学;2011年

5 王肃;基于多Agent的突发事件信息智能监测系统研究[D];北京邮电大学;2011年

6 岑荣伟;基于用户行为分析的搜索引擎评价研究[D];清华大学;2010年

7 阮备军;Web使用挖掘若干关键问题研究[D];复旦大学;2004年

8 许智超;电子商务订单实时处理的智能系统研究[D];大连理工大学;2006年

9 董一鸿;动态数据库增量式挖掘算法及其应用的研究[D];浙江大学;2007年

10 易明;基于Web挖掘的电子商务个性化推荐机理与方法研究[D];华中科技大学;2006年

相关硕士学位论文 前10条

1 吕芳芳;基于查询扩展的垂直搜索研究[D];山东科技大学;2010年

2 翁岩青;网页抓取策略研究[D];哈尔滨工程大学;2010年

3 蔡宇虹;基于主题的元搜索引擎关键技术研究[D];哈尔滨工程大学;2010年

4 史炜;个性化搜索引擎的研究与设计[D];电子科技大学;2010年

5 丁宝琼;网络文本信息采集分析关键技术研究与实现[D];解放军信息工程大学;2009年

6 沙有闯;基于Web文本挖掘的网络口碑监测系统研究[D];安徽大学;2010年

7 陈可钦;基于垂直搜索引擎的主题爬虫算法的研究[D];中南林业科技大学;2009年

8 张朝威;面向企业竞争情报的主题搜索研究与实现[D];西安电子科技大学;2010年

9 单蓉;基于WEB挖掘的E-learning环境下的个性化教学平台研究[D];西安电子科技大学;2009年

10 刘永信;主题搜索与Web挖掘的研究及系统实现[D];西安电子科技大学;2009年

【二级参考文献】

相关期刊论文 前10条

1 彭建荣;罗永会;;搜索引擎的基本原理及发展趋势[J];电脑知识与技术;2006年02期

2 宋晖,张岭,叶允明,马范援;基于标记树对象抽取技术的Hidden Web获取研究[J];计算机工程与应用;2002年23期

3 陈珂;陈小英;徐科;;Hidden Web信息获取[J];计算机时代;2007年05期

4 王映,于满泉,李盛韬,王斌,余智华;JavaScript引擎在动态网页采集技术中的应用[J];计算机应用;2004年02期

5 刘金红;陆余良;;主题网络爬虫研究综述[J];计算机应用研究;2007年10期

6 孙彬;王东;李娟;;基于XQuery的Deep Web搜索系统的设计与实现[J];科学技术与工程;2007年16期

7 郑冬冬,赵朋朋,崔志明;Deep Web爬虫研究与设计[J];清华大学学报(自然科学版);2005年S1期

8 郑冬冬;崔志明;;Deep Web爬虫爬行策略研究[J];计算机工程与设计;2006年17期

9 严亚兰;面向动态网页爬行的Crawler架构[J];图书情报知识;2003年04期

10 李涛;陈鹏;李哲;;深度Web资源探测系统的研究与实现[J];微计算机信息;2007年33期

相关硕士学位论文 前1条

1 罗兵;支持AJAX的互联网搜索引擎爬虫设计与实现[D];浙江大学;2007年

【相似文献】

相关期刊论文 前10条

1 张振军;毛志刚;;基于伪随机的微处理器验证方法及改进[J];信息技术;2008年10期

2 连莲;周颖;吕巍;;移动通信行业高价值客户识别指标研究[J];移动通信;2009年06期

3 万晓榆;李慧奇;樊自甫;;基于射频直放站的WCDMA网室内覆盖解决方案[J];邮电设计技术;2009年12期

4 底欣;张百海;;一类异类无线传感器网络节点调度问题研究[J];仪器仪表学报;2011年06期

5 夏铭;陈晓光;;河南省DMB-T单频网信号覆盖率的计算[J];电视技术;2006年06期

6 毛莺池;龚海刚;刘明;陈道蓄;谢立;;ELIQoS:一种高效节能、与位置无关的传感器网络服务质量协议[J];计算机研究与发展;2006年06期

7 李德仁;宁晓刚;;一种新的基于内容遥感图像检索的图像分块策略[J];武汉大学学报(信息科学版);2006年08期

8 夏铭;顾丰仪;陈晓光;;小功率DVB-T单频网覆盖分析[J];电视技术;2006年12期

9 ;2006年全国城市都市报销量排行(之一)[J];传媒;2007年01期

10 孙钊;王勇;;芯片功能验证流的高效生成方法[J];北京大学学报(自然科学版);2007年01期

相关会议论文 前10条

1 江亲瑜;王松年;陈谌闻;;润滑边界膜平衡态覆盖率计算模型[A];第三届全国青年摩擦学学术会议论文集[C];1995年

2 贾杰;赵林亮;常桂然;;面向异构传感器网络的高能效覆盖控制[A];中国通信学会第六届学术年会论文集（下）[C];2009年

3 邓忠民;刘敬;赵亦兵;洪友士;;激光毛化技术对18-8不锈钢疲劳性能影响的研究[A];第十二届全国疲劳与断裂学术会议论文集[C];2004年

4 景宦;李忠正;王仁荣;吴国泉;王蕊;;原纸表面施胶对涂布涂层覆盖率和印刷墨斑的影响[A];中国造纸学会第十三届学术年会论文集（下）[C];2008年

5 倪孟麟;倪泽成;张英林;;LED与其它彩色显示器色域覆盖率的比较[A];海峡两岸第十五届照明科技与营销研讨会专题报告暨论文集[C];2008年

6 宋胜利;李玉涛;徐丽;;公路合理债务规模的标准与理论问题[A];中国公路学会公路规划分会2003年文集[C];2003年

7 丁克良;童小华;郑德华;;上海市移动终端GPS定位覆盖率与可靠性分析[A];中国地理信息系统协会第八届年会论文集[C];2004年

8 邓忠民;赵亦兵;洪友士;;激光熔凝覆盖率对材料接触疲劳性能影响的模拟[A];疲劳与断裂2000——第十届全国疲劳与断裂学术会议论文集[C];2000年

9 焦勤;袁颖;罗义;王隼;应灏;傅一萍;赵艳娜;;性别对婴儿髋臼股骨头覆盖率影响的研究[A];中华医学会第八次全国小儿外科学术会论文集[C];2010年

10 王英;吕文正;何拥华;;利用深拖调查结果研究多金属结核覆盖率与地形的关系[A];1999年中国地球物理学会年刊——中国地球物理学会第十五届年会论文集[C];1999年

相关重要报纸文章 前10条

1 本报记者 孔臻;“十一五”规划将给我们带来什么[N];上饶日报;2006年

2 记者 齐福臣;明年底社区卫生服务覆盖率达到100%[N];唐山劳动日报;2007年

3 李茂盛;奈曼森林覆盖率29.11%居全市第一[N];通辽日报;2009年

4 本报记者 蒋中意;我市农村会有更多连锁超市[N];金华日报;2005年

5 本报记者　　朱梦聪;贵州：“两基”人口覆盖率5年提高59%[N];中国教育报;2006年

6 焦新;全国“两基”人口覆盖率达98%[N];中国教育报;2007年

7 本报记者　 王妮娜;“我们的优势不只在规模”[N];中国证券报;2006年

8 通讯员 郎沅龙;南涧着力提高农业综合生产能力[N];大理日报(汉);2007年

9 柯金欣;我市冬季农业生产稳步推进[N];九江日报;2006年

10 记者　 李岚;中行上市后首份中期业绩报告表现理想[N];金融时报;2006年

相关博士学位论文 前10条

1 华锋;破碎波统计及应用研究[D];中国科学院研究生院（海洋研究所）;2005年

2 张庆茂;送粉激光熔覆应用基础理论的研究[D];中国科学院长春光学精密机械与物理研究所;2000年

3 公维宾;无线Ad Hoc网络节点移动技术研究[D];西安电子科技大学;2009年

4 祁力钧;优化液体农药喷施技术的研究[D];中国农业大学;2000年

5 杨世铁;先秦汉语常用词研究[D];安徽大学;2007年

6 章真;胃癌放疗中影响靶区不确定性因素及其对剂量分布的影响分析[D];复旦大学;2007年

7 刘汉涛;阴山北麓保护性耕作地表抗风蚀效果的试验研究[D];内蒙古农业大学;2006年

8 张碧媛;～（18）F-FDG-PET/CT用于精确确定非小细胞肺癌放疗靶区的定量条件的研究[D];复旦大学;2007年

9 曲红;晋西黄土高原人工林营造对植物多样性的影响[D];北京林业大学;2008年

10 张健;林火视频监测新技术研究[D];北京林业大学;2010年

相关硕士学位论文 前10条

1 贾亮;基于覆盖率驱动的自动化验证平台实现[D];西安电子科技大学;2011年

2 赵秀祥;对称型与非对称型胫骨假体对胫骨假端覆盖率的对照研究[D];天津医科大学;2004年

3 陈琦;医学论文中半技术性词汇的分析[D];第四军医大学;2004年

4 刘轶欧;嵌入式实时系统测试的充分性研究与实践[D];电子科技大学;2004年

5 汪雁;发达国家职业年金覆盖率比较研究[D];中国社会科学院研究生院;2003年

6 薛平;基于四舍五入数据的参数估计[D];东北师范大学;2006年

7 包海涛;共轨迹卫星星座的优化设计及其应用[D];华中科技大学;2006年

8 叶磊;“龙腾S2”验证平台的设计[D];西北工业大学;2006年

9 张冰洁;智能楼宇模拟量监测的无线传感器网络及拓扑控制[D];电子科技大学;2007年

10 陈丹;无线传感器网络中节点调度算法的研究[D];华中师范大学;2007年

，

本文编号：1685949