有效的爬行Ajax页面的网络爬行算法

发布时间：2019-09-18 07:07

【摘要】：Ajax页面的生成和页面导航需要执行客户端的JavaScript代码,传统网络爬行算法无法获取Ajax页面全部内容。分析了Ajax的工作方式,阐述了爬行Ajax网页所面临的主要问题,提出并实现了一种有效爬行Ajax页面的网络爬行算法。该算法可控制客户端浏览器动态生成页面内容和完成页面导航,为爬行过的页面分配标识编号并生成相应静态页面。实验结果表明,提出的算法所爬行的Ajax页面数量明显多于传统方法,同时,采用的双重消重策略可有效减少算法的时间耗费。
【作者单位】： 解放军理工大学指挥信息系统学院;
【基金】：江苏省自然科学基金(BK2010132)
【分类号】：TP391.3

【参考文献】

相关硕士学位论文 前1条

1 罗兵;支持AJAX的互联网搜索引擎爬虫设计与实现[D];浙江大学;2007年

【共引文献】

相关期刊论文 前10条

1 杨斌;SSL协议与SET协议探讨[J];江西师范大学学报(自然科学版);2003年04期

2 谭丹,鲜继清;基于NDIS hook的Windows防火墙驱动程序设计[J];重庆邮电学院学报(自然科学版);2005年05期

3 唐珂;电子政府信息服务的安全保障[J];档案学通讯;2005年02期

4 薛岚燕,郑胜林,潘保昌;数据加密技术在电子商务安全中的应用[J];广东工业大学学报(社会科学版);2005年S1期

5 权安静,蒋国平,左涛;基于Logistic映射的分组密码算法研究及其应用[J];东南大学学报(自然科学版);2004年S1期

6 张华贵,王海燕;计算机网络的安全分析与对策[J];电脑知识与技术;2005年23期

7 肖蕾,杨世平;在电子政务系统中用Java实现数字签名[J];计算机安全;2005年01期

8 姚志新;;基于互联网建设市级电子政务安全支撑平台的研究与实现[J];计算机安全;2007年03期

9 李艳;电子商务信息安全策略研究[J];甘肃科技;2005年06期

10 董明刚,梁正友;随机数与信息安全研究[J];广西大学学报(自然科学版);2004年S2期

相关会议论文 前5条

1 郭卫东;谢永强;王朝君;;移动存储介质安全认证机制的研究与实现[A];2007北京地区高校研究生学术交流会通信与信息技术会议论文集（上册）[C];2008年

2 郭卫东;谢永强;王朝君;;办公环境下移动存储介质安全管理模式研究[A];2007北京地区高校研究生学术交流会通信与信息技术会议论文集（上册）[C];2008年

3 祝洪杰;李大兴;;数字签名技术在电子商务系统中的应用[A];2007北京地区高校研究生学术交流会通信与信息技术会议论文集（上册）[C];2008年

4 黄高平;苏金树;陈曙辉;;一种基于高速链路的Hash算法[A];2006年全国理论计算机科学学术年会论文集[C];2006年

5 邹永斌;陈兴蜀;王文贤;;一个高性能Web资源收集系统的设计与实现[A];2008'中国信息技术与应用学术论坛论文集（二）[C];2008年

相关博士学位论文 前6条

1 张峰;基于策略树的网络安全主动防御模型研究[D];电子科技大学;2004年

2 刘巍巍;同步协同CAD/CAM系统及其关键技术研究[D];南京航空航天大学;2005年

3 李卫国;水稻生长模拟与决策支持系统的研究[D];南京农业大学;2005年

4 吴丽辉;个性化的Web信息采集技术研究[D];中国科学院研究生院（计算技术研究所）;2005年

5 谢鲲;布鲁姆过滤器查询算法及其应用研究[D];湖南大学;2007年

6 金光;基于数据包标记的拒绝服务攻击防御技术研究[D];浙江大学;2008年

相关硕士学位论文 前10条

1 饶维;基于Linux的以太网综合型主机防火墙的研究与实现[D];浙江大学;2004年

2 刘绪明;网络监控系统的安全性研究[D];河海大学;2004年

3 许建;基于Kerberos的身份认证机制研究[D];河海大学;2004年

4 孙澄昊;嵌入式Internet的安全性研究[D];上海师范大学;2004年

5 秦晓凌;流媒体数字版权管理系统的设计与实现[D];上海师范大学;2004年

6 鲁红英;基于遗传神经网络的入侵检测方法研究[D];成都理工大学;2004年

7 赵晗旭;基于Netfilter框架下并行队列处理器在内核中的设计与实现[D];吉林大学;2004年

8 罗娅;基于IPSec的VPN系统研究与设计[D];重庆大学;2004年

9 刘亚辉;PKI在安全邮件传输上的应用[D];哈尔滨理工大学;2004年

10 宋志成;国家人事信息系统的安全策略研究[D];四川大学;2004年

【二级参考文献】

相关期刊论文 前7条

1 查志华;李伟;;搜索引擎的技术现状及发展趋势[J];兵团教育学院学报;2006年03期

2 刘林,汪涛,樊孝忠;主题爬虫的解决方案[J];华南理工大学学报(自然科学版);2004年S1期

3 印鉴,陈忆群,张钢;搜索引擎技术研究与发展[J];计算机工程;2005年14期

4 徐莹;;搜索引擎技术及其发展前瞻[J];科技情报开发与经济;2005年24期

5 苏杭;严建援;;一种新的Web链接提取模型[J];清华大学学报(自然科学版);2006年S1期

6 柳正青,刘怀亮,李振坤,沈芳阳;XML编程接口的研究与一个应用模型[J];微机发展;2003年S2期

7 李斌;徐蓉艳;;搜索引擎简析[J];扬州教育学院学报;2006年03期

【相似文献】

相关期刊论文 前10条

1 井水;;浅谈云计算和Ajax对高校电子阅览室的影响[J];科技资讯;2011年20期

2 李祺;;基于AJAX的网络教学系统设计与实现[J];山西经济管理干部学院学报;2011年02期

3 朱利民;岑俊杰;;基于ASP.NET技术的新闻发布系统的设计与实现[J];河南机电高等专科学校学报;2011年03期

4 彭桂馥;刘真祥;贾琰;;RIA在电子商务虚拟实验系统中的应用[J];电脑知识与技术;2011年14期

5 赵娜;;Ajax技术在WebGIS中应用的发展趋势[J];湖北经济学院学报(人文社会科学版);2011年08期

6 杜博;;高校实验室管理系统的设计与实现[J];电子设计工程;2011年15期

7 胡斌;金大兵;;执法人员资格认证计算机网络考试系统的设计与实现[J];北华航天工业学院学报;2011年03期

8 韩婷;何志鹏;纪进立;;基于Hibernate和AJAX的网络题库和在线考试系统[J];中国教育技术装备;2011年18期

9 杨勇智;梁弼;;基于J2EE轻量级框架的课程评价系统的设计与实现[J];计算机与信息技术;2011年Z2期

10 胡千里;;比较XML与JSON在Web中的应用[J];中小企业管理与科技(下旬刊);2011年07期

相关会议论文 前10条

1 王栋;李妍;曹文;;基于AJAX技术的矿区环保信息系统的研究[A];煤矿节能减排与生态建设论坛论文集[C];2009年

2 何松;侯思祖;苏贵波;李璇;;Ajax结合WebGIS在电力通信网资源管理中研究与应用[A];2007年河北省电子学会、河北省计算机学会、河北省自动化学会、河北省人工智能学会、河北省计算机辅助设计研究会、河北省软件行业协会联合学术年会论文集[C];2007年

3 苟刚;黄伶俐;;电子地图安全显示算法设计与实现[A];全国计算机安全学术交流会论文集（第二十三卷）[C];2008年

4 李楠;马世龙;;一种基于Ajax的动态树型结构的设计与实现[A];2007中国控制与决策学术年会论文集[C];2007年

5 刘翔;沈明玉;;基于SNMP与AJAX的服务监控系统研究[A];计算机技术与应用进展·2007——全国第18届计算机技术与应用（CACIS）学术会议论文集[C];2007年

6 苏毅;王文力;阎姗;邓峰;;基于Ajax技术信息动态查询的设计与实现[A];2008通信理论与技术新进展——第十三届全国青年通信学术会议论文集（上）[C];2008年

7 郭元;周国祥;;基于Ajax技术B/S体系架构系统的研究与设计[A];全国第20届计算机技术与应用学术会议(CACIS·2009)暨全国第1届安全关键技术与应用学术会议论文集（下册）[C];2009年

8 朱，

本文编号：2537394