电子商务网站中Web Robot的检测技术

发布时间：2019-11-13 05:12

【摘要】：分析了网络机器人的访问特征,给出了从Web日志中检测Web Robot的一般方法,并提出了一个新的基于页面成员表的检测算法。经实验验证,该算法可以有效地检测未知的和不遵守网络机器人排斥标准的Robot。

【共引文献】

相关期刊论文 前10条

1 马国红,陈善本,黎文航;网络机器人的发展及其在焊接中的应用现状[J];焊接;2004年04期

2 卢健;刁雅静;;Web日志挖掘中的数据预处理研究[J];江苏科技大学学报(自然科学版);2012年01期

3 吴晓晖;纪星;;Web爬虫检测技术综述[J];湖北汽车工业学院学报;2012年01期

4 吴俊杰;陈俊杰;赵栓柱;;基于用户访问兴趣的路径聚类研究[J];计算机工程与应用;2005年36期

5 吴俊杰;刘耀军;陈俊杰;;基于频繁访问页组的路径聚类研究[J];计算机工程与应用;2010年33期

6 刘燕;帅典勋;柴震川;;基于群体智能的网络信息自组织方式[J];计算机科学;2003年06期

7 郭伟刚;鞠时光;;基于访问内容类型统计的Web Robot检测算法[J];计算机科学;2005年08期

8 刘立军;周军;梅红岩;;Web使用挖掘的数据预处理[J];计算机科学;2007年05期

9 郭伟刚,鞠时光;一个基于事务分析的Web Robot检测算法[J];计算机应用;2005年07期

10 范纯龙;袁滨;余周华;徐蕾;;基于陷阱技术的网络爬虫检测[J];计算机应用;2010年07期

相关博士学位论文 前6条

1 邱峰;远程医学教育临床技能培训模式与平台研究[D];华东师范大学;2011年

2 岑荣伟;基于用户行为分析的搜索引擎评价研究[D];清华大学;2010年

3 阮备军;Web使用挖掘若干关键问题研究[D];复旦大学;2004年

4 许智超;电子商务订单实时处理的智能系统研究[D];大连理工大学;2006年

5 董一鸿;动态数据库增量式挖掘算法及其应用的研究[D];浙江大学;2007年

6 易明;基于Web挖掘的电子商务个性化推荐机理与方法研究[D];华中科技大学;2006年

相关硕士学位论文 前10条

1 单蓉;基于WEB挖掘的E-learning环境下的个性化教学平台研究[D];西安电子科技大学;2009年

2 万宇文;用户访问模式在线挖掘推荐系统的研究[D];江西师范大学;2003年

3 曾义聪;基于概念树的主题爬取技术研究[D];湖南大学;2005年

4 吴俊杰;基于用户访问兴趣的路径聚类研究[D];太原理工大学;2005年

5 郑跃平;基于约束数据预处理的Web日志挖掘研究[D];福州大学;2006年

6 鲜学丰;基于Web使用挖掘的个性化推荐服务研究[D];河海大学;2006年

7 郭弘强;电子商务订单实时处理的交互Multi-Agent系统研究[D];大连理工大学;2007年

8 李勇;数据挖掘的算法研究及其在Web日志分析中的应用[D];长春理工大学;2008年

9 周恒;基于Web挖掘的个性化网站定制服务的研究和应用[D];武汉理工大学;2009年

10 姜宏飞;基于web日志的访问行为分类技术研究[D];沈阳航空工业学院;2010年

【相似文献】

相关期刊论文 前10条

1 郭伟刚;鞠时光;;基于访问内容类型统计的Web Robot检测算法[J];计算机科学;2005年08期

2 郭伟刚,鞠时光;一个基于事务分析的Web Robot检测算法[J];计算机应用;2005年07期

3 陈勇;刘勇;;中医药主题搜索网络机器人的设计与实现[J];计算机技术与发展;2010年05期

4 邹竞辉;;智能搜索引擎的设计与实现[J];科技经济市场;2006年08期

5 梁雪松;;网络机器人对网络安全的影响及其应对策略[J];信息安全与通信保密;2008年08期

6 张晓刚,李明树;智能搜索引擎技术的研究与发展[J];计算机工程与应用;2001年24期

7 崔泽永,常晓燕;搜索引擎的Web Robot技术与优化[J];微机发展;2004年04期

8 张玉宝;;中文搜索引擎的原理及相关技术分析[J];福建电脑;2008年01期

9 赵恒永;沈坚;山岚;;基于专业信息深度挖掘的搜索引擎Spider的设计与实现[J];计算机工程与科学;2009年06期

10 张路;;从搜索到交互式发现[J];互联网周刊;2007年09期

相关会议论文 前10条

1 彭轲;廖闻剑;;浅析搜索引擎[A];中国通信学会第五届学术年会论文集[C];2008年

2 李丹;;如何利用搜索引擎查找中医药信息[A];中国中医药信息研究会第二届理事大会暨学术交流会议论文汇编[C];2003年

3 邓长寿;郭景峰;杨焱林;邓安远;;下一代Web搜索引擎初探[A];第十八届全国数据库学术会议论文集（研究报告篇）[C];2001年

4 维尼拉·木沙江;吐尔洪·吾司曼;;维、哈、柯文搜索引擎中网页爬行器的设计与实现[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年

5 汤薇;曾艳;;构建校园网搜索引擎必要性分析[A];广西计算机学会2008年年会论文集[C];2008年

6 姚树宇;赵少东;;一种使用分布式技术的搜索引擎[A];2005年全国开放式分布与并行计算学术会议论文集[C];2005年

7 倪俊峰;;基于黄页搜索引擎的关键字排名广告系统的设计与实现[A];2005年中国索引学会年会暨学术研讨会论文集[C];2005年

8 张怡;查贵庭;;SEO在信息服务中的应用研究[A];2010年中国索引学会年会暨学术研讨会论文集[C];2010年

9 陈援非;何哲;朱珍民;;基于普适计算的个性化搜索技术[A];第二届和谐人机环境联合学术会议(HHME2006)——第2届中国普适计算学术会议(PCC'06)论文集[C];2006年

10 杨萌;李春丽;朱明;;网络搜索技术下的编辑工作[A];学报编辑论丛（第十一集）[C];2003年

相关重要报纸文章 前10条

1 李一鑫;搜索排名的红与黑[N];财经时报;2007年

2 周文林;搜狗3.0能否撼动搜索市场[N];经济参考报;2007年

3 惠正一;比尔·盖茨:微软不怕Google[N];第一财经日报;2005年

4 赛迪顾问股份有限公司互联网与电子商务咨询中心 常燕杰;搜索，还是门户[N];中国计算机报;2005年

5 陈珊;浙江移动推出手机搜索引擎服务[N];人民邮电;2005年

6 赵法忠;搜索引擎还需悠着点[N];中国经营报;2005年

7 金朝力;搜索引擎火拼搜索质量[N];北京商报;2006年

8 本报记者　 赵晓辉 孟昭丽;搜索引擎驶入“避风港”[N];中国证券报;2006年

9 孙t;搜索引擎惊喜侵权官司止于“避风港”？[N];第一财经日报;2006年

10 姜蕊;问天下谁识搜索？[N];中国高新技术产业导报;2006年

相关博士学位论文 前10条

1 岑荣伟;基于用户行为分析的搜索引擎评价研究[D];清华大学;2010年

2 李群;主题搜索引擎聚类算法的研究[D];北京林业大学;2011年

3 苏君华;面向搜索引擎的技术接受模型研究[D];南京大学;2011年

4 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年

5 郭眈;中文互联网视频搜索引擎系统策略研究[D];北京交通大学;2012年

6 胡玲娜;静止图像数字水印的盲检测算法研究[D];上海交通大学;2010年

7 刘东飞;智能双语搜索方法及搜索引擎的研究[D];武汉理工大学;2009年

8 王昤璞;基于用户体验的互联网搜索引擎医学信息检索可用性评估研究[D];吉林大学;2010年

9 江亚群;电能质量参数检测算法的研究[D];湖南大学;2009年

10 李莎莎;面向搜索引擎的自然语言处理关键技术研究[D];国防科学技术大学;2011年

相关硕士学位论文 前10条

1 李建平;智能化WEB信息搜索引擎的研究与实现[D];大庆石油学院;2003年

2 吕韩飞;主题（topical）crawler及其应用——主题搜索引擎[D];浙江大学;2005年

3 田生伟;基于涉农词典的搜索引擎的研究与实践[D];新疆大学;2004年

4 廖程锋;一种基于元数据的搜索引擎的设计与实现[D];中南大学;2004年

5 高磊;基于LUCENE的搜索引擎研究与实现[D];武汉理工大学;2007年

6 薛云;Internet上元搜索引擎的研究与设计[D];太原理工大学;2003年

7 王春花;基于Nutch的农业搜索引擎检索结果排序策略的研究[D];西北农林科技大学;2010年

8 李雷;基于Nutch的农业信息搜索引擎实现和优化[D];吉林大学;2011年

9 董晨;基于模糊聚类的个性化搜索引擎的研究[D];福州大学;2005年

10 封俊;基于Hadoop的分布式搜索引擎研究与实现[D];太原理工大学;2010年

，

本文编号：2560144