基于改进爬虫技术的SQL注入的自动化扫描工具的研究与设计

发布时间：2020-11-23 17:01

　　 随着互联网的飞速发展,人们对Web技术的需求逐渐增多,相应的,面临的威胁也在不断增加。针对网站进行的攻击成为网络安全的一个热点问题,其中SQL注入攻击更是网络安全一个重要的研究课题。SQL注入漏洞的危害极大,会对网站造成不可估量的损失。因此,研究分析SQL注入扫描工具具有重要的现实意义。本文在现有的SQL注入检测技术学习研究的基础上,详细分析漏洞扫描工具的需求,设计并实现一款针对SQL注入漏洞的扫描工具。该工具在现有工具基础上,对爬虫模块进行改进,突破网站对爬虫的限制,并对去重算法进行改进,以提高爬虫的运行效率。同时,实现对WAF规则的绕过,构造优化的测试载荷,以提高检测工具的准确率。本文的主要工作如下:(1)详细论述了 SQL注入的基本原理及注入的流程,阐述了爬虫的概念、相关策略以及URL去重的技术。介绍了国内外对SQL注入检测技术的研究进展。(2)在研究现有爬虫技术的基础上,针对网站对爬虫的限制,如登录限制,反爬虫机制等,对爬虫进行改进,增加爬虫的模拟登录和绕过功能,以突破网站对爬虫的限制,使得爬虫可以高效运作。(3)改进URL去重算法,并将算法运用于网络爬虫中。通过分析现有URL去重算法存在的效率和准确率低的问题,提出URL去重的优化算法。在原有布隆过滤器算法的基础上,本文提出的SVCBF去重算法对链接进行压缩,将处理过的URL通过哈希映射到可变长度的位向量计数器中,以提高去重的准确度和效率。(4)在检测模块中增加Web应用防火墙的识别和绕过的技术。通过检测网站的防火墙设置,识别过滤规则,从而构造优化的测试载荷,以绕过防火墙的过滤,提高检测的准确度。(5)设计实现基于改进爬虫的SQL注入自动化扫描工具,包括工具的总体设计、主要功能模块设计及各模块的功能实现,并对工具的各个模块进行了功能测试和性能测试,验证工具模块的功能均已实现。
【学位单位】：北京邮电大学
【学位级别】：硕士
【学位年份】：2018
【中图分类】：TP393.08
【部分图文】：

ＨＴＴＰ［１６］协议由ＨＴＴＰ请求和ＨＴＴＰ响应组成。ＷＡＦ进行防护时，通常会对??ＨＴＴＰ流量进行拦截和检测，检测正常后再将其传到后端Ｗｅｂ服务器进行处理。??ＨＴＴＰ交互过程如图２－１所示：??Ａ?＿??■Ｉ??ＬＳ??客户端?月ｓ务器??服务器监听ＴＣＰ端口８０，等待客户端??＾?发出连接请求???发送连接请求???？??建立ＴＣＰ连接??＜???发送页面请求（ＨＴＴＰ请求报文）???？??返回页面请求的响应（ＨＴＴＰ响应报文）??？???释放ＴＣＰ连接???？??图２－〗ＨＴＴＰ工作流程??（１）当客户端向服务端发送请求时，客户端向服务端发送了一个数据包，??８??

回辅丨换行符Ｉ??请求正文??图２－２?ＨＴＴＰ请求报文组成??＊请求行：主要用于声明主机的资源、请求路径以及协议的版本；??＊请求头部：说明客户端、服务器或者请求报文的一些信息；??＊请求正文：主要用于放置报文数据的相关信息。??（２）?ＨＴＴＰ的响应和请求类似，它的响应主要包含以下几个部分，主要是：??｜协议版本丨空格状态码」空格｜状态码描述丨ｆ＂丨料？丨换行符｜状态行??轉！参鋼：回：换行符］??？?．?．?＿?＿?＿?卜响应头部??｜．头謂字Ｋｇ＇?｜：?｜?－ａ?－ｆ回车符｜换行符」??論＿换行符｜??１响应正文??图２－３?ＨＴＴＰ响应报文组成??？状态行：主要包括协议版本，一般的协议的版本是１．０、Ｕ、２．０；状态??码主要是分成５大类，每一类的具体含义如表２－１所示：??表２－１状态码??类别含义???ｌｘｘ?对信息的通知，表示请求己收到或者正在处理??２ｘｘ?表示ｏｋ，请求成功??３ｘｘ?含义是重定向，要想完成完整请求还要继续进行??４ｘｘ?请求中可能出现语法的错误???５ｘｘ?｜服务器无法完成的请求???＊响应头：主要用来说明客户端或者服务器的一些信息；??＊响应体：主要是包含请求返回的数据信息。??２．２?ＳＱＬ注入技术概述??ＳＱＬ?（Ｓｔｒｕｃｔｕｒｅｄ?Ｑｕｅｒｙ?Ｌａｎｇｕａｇｅ），是结构化查询语言［１７］，开发人员可以使??用ＳＱＬ语言与数据库通信

?卜响应头部??｜．头謂字Ｋｇ＇?｜：?｜?－ａ?－ｆ回车符｜换行符」??論＿换行符｜??１响应正文??图２－３?ＨＴＴＰ响应报文组成??？状态行：主要包括协议版本，一般的协议的版本是１．０、Ｕ、２．０；状态??码主要是分成５大类，每一类的具体含义如表２－１所示：??表２－１状态码??类别含义???ｌｘｘ?对信息的通知，表示请求己收到或者正在处理??２ｘｘ?表示ｏｋ，请求成功??３ｘｘ?含义是重定向，要想完成完整请求还要继续进行??４ｘｘ?请求中可能出现语法的错误???５ｘｘ?｜服务器无法完成的请求???＊响应头：主要用来说明客户端或者服务器的一些信息；??＊响应体：主要是包含请求返回的数据信息。??２．２?ＳＱＬ注入技术概述??ＳＱＬ?（Ｓｔｒｕｃｔｕｒｅｄ?Ｑｕｅｒｙ?Ｌａｎｇｕａｇｅ），是结构化查询语言［１７］，开发人员可以使??用ＳＱＬ语言与数据库通信
【相似文献】

相关期刊论文 前20条

1 茹蓓;;SQL查询语句的优化[J];新乡教育学院学报;2006年04期

2 郭小雷;王宗彦;吴淑芳;侯聪亚;樊恒;;基于SQL的桥式起重机智能设计网络系统开发[J];机械设计与研究;2017年01期

3 于思江;邱思晨;王小兵;;基于存储过程的SQL自动评判系统[J];电子设计工程;2017年11期

4 赵光亮;舒小松;;Navicat for MySQL平台中的SQL语言分析与应用[J];无线互联科技;2017年19期

5 刘瑄;孙捷;;基于C#与SQL的销售管理系统的设计与实现[J];电脑知识与技术;2016年05期

6 赵志明;崔欢喜;唐骜棋;;本科数据库课程中SQL教学建议[J];学周刊;2015年12期

7 祁星;孙琳;周治宇;;浅析我院数据库系统中SQL语句优化[J];数码世界;2017年05期

8 田会;;优化SQL语句提高数据库系统效率[J];硅谷;2014年08期

9 黄锦祝;;ASP.NET与SQL联合在机械零部件销售系统设计当中的应用[J];制造业自动化;2012年10期

10 蒋丹丹;牛晓楠;;基于SQL的宿舍学生成绩管理系统设计与开发[J];企业技术开发;2012年20期

11 吴贵山;;SQL注入攻击防御策略的研究[J];计算机与网络;2012年09期

12 赵慧玲;毛应爽;孟宪颖;;基于SQL游标的研究与应用[J];科技创新导报;2012年28期

13 李莹;卫凤林;;数据库语言SQL标准演变分析[J];信息技术与标准化;2011年09期

14 钱哨;;用SQL实现关系代数中近似除与关系整除方法的研究[J];计算机与现代化;2010年04期

15 李国雁;田源;;关系代数中除运算的SQL语句实现[J];现代计算机(专业版);2010年14期

16 蔡鼎梁;;浅谈SQL语句解决数据转移[J];福建电脑;2009年12期

17 葛萌;;SQL查询语言在学校审计中的运用[J];中国教育信息化;2008年20期

18 王平勤;董付国;周翔凤;;SQL外连接查询在系统开发中的应用[J];电脑开发与应用;2008年03期

19 赵翔;;ASP.NET中使用SQL的存储过程[J];内蒙古科技与经济;2008年08期

20 沈海峰;;SQL与网络数据库的安全[J];淮北职业技术学院学报;2007年03期

相关博士学位论文 前2条

1 田伟;模型驱动的web应用SQL注入安全漏洞渗透测试研究[D];南开大学;2012年

2 邓立国;模糊时态数据库建模若干关键技术研究[D];东北大学;2011年

相关硕士学位论文 前10条

1 贾潇雨;基于改进爬虫技术的SQL注入的自动化扫描工具的研究与设计[D];北京邮电大学;2018年

2 李鑫;动静结合的二阶SQL注入漏洞检测技术研究[D];华侨大学;2017年

3 杨小丽;防SQL注入攻击中间件的设计与实现[D];四川师范大学;2010年

4 王洪海;录井数据访问层中SQL注入检测技术的研究[D];大连海事大学;2011年

5 杨剑光;基于C#和SQL的企业人事管理系统的设计与实现[D];西安电子科技大学;2013年

6 任凯锋;缓冲区溢出和SQL注入的渗透测试[D];太原理工大学;2006年

7 张钦;自动生成SQL测试用例集的研究与实现[D];东华大学;2012年

8 邹辉;数据库引擎SQL编译器的研究[D];武汉理工大学;2010年

9 徐爱华;大唐电信“话务统计子系统”中内存数据库SQL解析器的设计与实现[D];西安电子科技大学;2006年

10 吕海熊;SQL语言到自然语言自动翻译的研究[D];北京理工大学;2016年

本文编号：2894773