基于爬虫技术的Web应用程序漏洞检测方法

发布时间：2017-08-12 04:35

  本文关键词：基于爬虫技术的Web应用程序漏洞检测方法

  更多相关文章： XSS Web应用 Scrapy爬虫 攻击向量

【摘要】：随着Web2.0时代的到来,Web技术高速发展,网站渐渐由原本的静态文档发展成为具有各种强大功能的动态页面。互联网用户可以通过网站轻松的完成很多业务。然而由于大量的个人信息暴露在互联网上,随之带来的安全问题也逐年增加,跨站脚本攻击就是众多安全问题中的一个。在OWASP 2015中国应用安全论坛会议中,跨站脚本攻击仍严重威胁着Web应用程序的安全。针对跨站脚本攻击带来的严重危害,国内外安全研究人员提出了包括黑盒测试和白盒测试的检测方法,使得这一问题的危害得到了一定程度上的缓解。但是随着Web技术的更新,Web支持的功能不断扩展,跨站脚本的攻击者不断的发现可以绕过安全监测过滤的方法。针对以上问题,论文提出一种基于爬虫技术的Web应用程序漏洞检测方法,改进爬虫爬取网页、解析页面的方法,并且研究了漏洞挖掘策略,从而解决了网页爬取的效率以及网页分析的性能问题,提高了对漏洞检测的检测率,降低了漏洞的漏报率和误报率,并对其做了实验分析,结果证明研究方案具有良好的性能和准确性。论文主要工作如下:(1)研究了系统漏洞的成因以及当前主要的漏洞挖掘技术,分析了跨站脚本攻击的主要手段、检测方法以及研究现状,同时对当前主要的开源爬虫框架也进行了深入的学习和借鉴(2)针对目前开源的的某些爬虫技术存在爬取效率低、网页分析能力差的缺点,通过对Scrapy框架的研究,分析了页面爬取以及解析的具体过程,研究了URL的搜索和相似性去重,设计和实现了基于Scrapy框架的爬虫Libra,解决了系统爬取页面的效率以及解析页面的性能问题。(3)针对目前的跨站脚本攻击检测方法存在攻击代码单一、存储在数据库中笨重等缺点,以基本跨站脚本攻击代码为基础,根据不同类型的攻击方式,按照挖掘策略对攻击代码进行变形,输出了更加全面的攻击代码,从而提高了跨站脚本攻击漏洞检测率,降低了漏报率和误报率。(4)实现了基于爬虫技术的Web应用程序漏洞检测方法,对该方法进行了测试,并对测试结果进行了分析。
【关键词】：XSS Web应用 Scrapy爬虫 攻击向量
【学位授予单位】：北京工业大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP393.08
【目录】：

• 摘要4-5
• Abstract5-9
• 第1章绪论9-15
• 1.1 研究背景与意义9-10
• 1.2 国内外研究现状10-12
• 1.3 研究内容12
• 1.4 论文的组织与安排12-15
• 第2章跨站脚本攻击相关技术基础15-27
• 2.1 爬虫技术15-18
• 2.2 漏洞18-19
• 2.2.1 漏洞的成因18-19
• 2.2.2 漏洞的发掘技术19
• 2.3 跨站脚本攻击19-24
• 2.3.1 跨站脚本分类20-23
• 2.3.2 跨站脚本的攻击目的23-24
• 2.4 跨站脚本的检测24-26
• 2.5 本章小结26-27
• 第3章 Libra爬虫的设计与实现27-41
• 3.1 系统总体设计27-28
• 3.2 Scrapy框架的爬虫架构28-29
• 3.3 Libra爬虫的设计29-33
• 3.3.1 页面下载与解析29-31
• 3.3.2 URL去重31
• 3.3.3 URL相似性31-32
• 3.3.4 并发操作32
• 3.3.5 避免爬虫被禁用的策略32-33
• 3.4 Libra爬虫的实现33-39
• 3.5 本章小结39-41
• 第4章跨站脚本攻击与检测的设计与实现41-53
• 4.1 攻击与检测分析41-44
• 4.2 攻击向量策略的设计44-46
• 4.3 攻击向量生成模块的实现46-48
• 4.4 攻击检测48-51
• 4.5 本章小结51-53
• 第5章实验与分析53-61
• 5.1 爬虫性能检测53-56
• 5.2 准确性检测56-59
• 5.3 本章小结59-61
• 结论61-63
• 参考文献63-65
• 攻读硕士学位期间获得的科研成果65-67
• 致谢67

【相似文献】

中国期刊全文数据库 前10条

1 ;漏洞检测代表产品[J];每周电脑报;2003年46期

2 杨阔朝,蒋凡;模拟攻击测试方式的漏洞检测系统的设计与实现[J];计算机应用;2005年07期

3 龙银香;一种新的漏洞检测系统方案[J];微计算机信息;2005年05期

4 贾永杰,王恩堂;一种新的漏洞检测系统方案[J];中国科技信息;2005年09期

5 刘完芳;;基于网络的漏洞检测系统的设计[J];湘潭师范学院学报(自然科学版);2006年03期

6 金怡;蔡勉;王亚军;;基于中间件的漏洞检测系统设计[J];信息安全与通信保密;2007年04期

7 花青;高岭;张林;;分布式漏洞检测系统的设计与实现[J];东南大学学报(自然科学版);2008年S1期

8 张林;高岭;汤声潮;杨e，

本文编号：659816