基于DBSCAN算法的WEB漏洞检测去重方法研究
发布时间：2021-05-19 18:45
随着互联网的快速发展,网络平台已经成为当今社会信息的主要传播媒介,人们的生活方式也随之发生了很大的变化,体现在通过网站进行购物、教育、通讯等方面;同时,黑客针对网站的攻击严重威胁着人们的利益,如果能够针对网站存在的漏洞进行快速扫描,在被黑客攻击之前给出防御措施,就会很大程度上提升网站的安全性,在实际应用中将有很大的价值。目前,传统的Web漏洞检测系统使用的网络爬虫对网站页面数据的爬取不够完整,并且没有针对反爬机制进行改进,导致漏洞检测的可行性降低、漏报率增加;同时针对网络爬虫采集到的页面数据没有采取高效且准确的算法进行去重处理,造成扫描系统速率降低,这种扫描方法已经不满足当代安全行业的需求,需要提出新的方案。基于模拟人机交互的自动化网络爬虫更好地模拟了人的行为,可以更全面的分析网站结构,更好地处理并采集网站数据,同时在一定程度上可以抵御反爬机制;基于密度的DBSCAN聚类算法针对网站数据的特征,可以更好地刻画每个页面的特点及与其他页面的区别,达到快速且准确去重的目的。因此本文结合人机交互的网络爬虫和DBSCAN聚类算法两个方面进行研究Web漏洞扫描方法。具体研究内容如下:（1）采用Se...
【文章来源】：中北大学山西省
【文章页数】：88 页
【学位级别】：硕士
【文章目录】：
摘要
abstract
第1章 绪论
1.1 研究背景与意义
1.2 研究现状
1.2.1 漏洞检测与爬虫研究现状
1.2.2 页面去重技术研究现状
1.3 本文研究主要内容及创新点
1.4 论文组织结构
第2章 关键技术研究
2.1 WEB安全概述
2.2 WEB漏洞检测技术研究
2.2.1 SQL注入漏洞
2.2.2 XSS跨站脚本漏洞
2.3 网络爬虫技术研究
2.3.1 网络爬虫技术介绍
2.3.2 静态数据网络爬虫
2.3.3 基于模拟人机交互的动态数据网络爬虫
2.4 页面去重技术研究
2.4.1 传统的正则去重
2.4.2 基于密度聚类的DBSCAN算法
2.5 本章小结
第3章 WEB漏洞检测去重方法研究
3.1 基于人机交互的网络爬虫进行资产收集
3.1.1 网络爬虫反爬研究
3.1.2 网络爬虫数据采集
3.2 DBSCAN聚类算法进行页面去重处理
3.2.1 传统正则匹配Url去重
3.2.2 DBSCAN密度聚类深度去重
3.3 实验方案与结果
3.3.1 实验方案
3.3.2 评估方法
3.3.3 实验结果
3.4 本章小结
第4章 WEB漏洞检测系统实现与评估
4.1 需求分析
4.1.1 功能需求
4.1.2 性能测试
4.1.3 其他需求
4.2 系统总体架构设计与实现
4.2.1 网络爬虫模块
4.2.2 页面去重模块
4.2.3 漏洞检测模块
4.2.4 数据库设计模块
4.3 系统测试与结果分析
4.3.1 测试目的
4.3.2 测试环境
4.3.3 测试过程与结果分析
4.4 本章小结
第5章 结论与展望
5.1 全文总结
5.2 未来展望
参考文献
攻读硕士期间发表的论文及所取得的研究成果
致谢
【参考文献】：
期刊论文
[1]网络个人信息风险与保护策略研究[J]. 吴丹. 网络安全技术与应用. 2019(03)
[2]大数据时代数据分析与信息安全防护[J]. 李福琳. 山东工业技术. 2019(06)
[3]基于云计算的网络信息安全管理系统设计[J]. 王明君. 电子技术与软件工程. 2019(04)
[4]网络通信安全与信息系统管理的安全探讨[J]. 黄武涛. 农家参谋. 2019(05)
[5]WebDriver自动化测试研究与应用[J]. 杨国勋. 科技传播. 2019(02)
[6]数据隐私保护新思路:从依赖他方到自主可控[J]. 姚前. 中国信息安全. 2019(01)
[7]A Method for Time-Series Location Data Publication Based on Differential Privacy[J]. KANG Haiyan,ZHANG Shuxuan,JIA Qianqian. Wuhan University Journal of Natural Sciences. 2019(02)
[8]基于Web渗透测试的SQL注入研究[J]. 曾佩璇,汤艳君,钱丽纳. 网络安全技术与应用. 2018(12)
[9]基于特征集合的XSS漏洞安全研究[J]. 齐晓霞,丁黄法,王琦进. 西华大学学报(自然科学版). 2018(06)
[10]基于朴素贝叶斯的新闻分类改进[J]. 孙子杰. 电子制作. 2018(22)
博士论文
[1]面向防御的网络欺骗技术研究[D]. 贾召鹏.北京邮电大学 2018
硕士论文
[1]基于Scrapy的分布式网络爬虫系统设计与实现[D]. 樊宇豪.电子科技大学 2018
[2]面向Web应用的SQL注入防御技术研究[D]. 赵茜.哈尔滨工程大学 2018
[3]基于Selenium的数据自动抓取软件设计与实现[D]. 赵梦影.大连理工大学 2018
[4]基于改进爬虫技术的SQL注入的自动化扫描工具的研究与设计[D]. 贾潇雨.北京邮电大学 2018
[5]基于SQLite辅数据库的供应商关系管理移动端设计与实现[D]. 罗琪成.山东大学 2018
[6]基于网络爬虫的Web安全扫描工具的设计与实现[D]. 翟涵.北京邮电大学 2018
[7]WEB实体信息的提取算法及其应用研究[D]. 高峰.电子科技大学 2018
[8]XSS攻击检测与安全防护技术研究与设计[D]. 杨君.北京邮电大学 2017
[9]Web应用系统漏洞检测技术研究与实现[D]. 洪俊斌.广东工业大学 2016
[10]Web应用漏洞分析与检测的研究[D]. 孙晓飞.北京邮电大学 2016
本文编号：3196260
【文章来源】：中北大学山西省
【文章页数】：88 页
【学位级别】：硕士
【文章目录】：
摘要
abstract
第1章 绪论
1.1 研究背景与意义
1.2 研究现状
1.2.1 漏洞检测与爬虫研究现状
1.2.2 页面去重技术研究现状
1.3 本文研究主要内容及创新点
1.4 论文组织结构
第2章 关键技术研究
2.1 WEB安全概述
2.2 WEB漏洞检测技术研究
2.2.1 SQL注入漏洞
2.2.2 XSS跨站脚本漏洞
2.3 网络爬虫技术研究
2.3.1 网络爬虫技术介绍
2.3.2 静态数据网络爬虫
2.3.3 基于模拟人机交互的动态数据网络爬虫
2.4 页面去重技术研究
2.4.1 传统的正则去重
2.4.2 基于密度聚类的DBSCAN算法
2.5 本章小结
第3章 WEB漏洞检测去重方法研究
3.1 基于人机交互的网络爬虫进行资产收集
3.1.1 网络爬虫反爬研究
3.1.2 网络爬虫数据采集
3.2 DBSCAN聚类算法进行页面去重处理
3.2.1 传统正则匹配Url去重
3.2.2 DBSCAN密度聚类深度去重
3.3 实验方案与结果
3.3.1 实验方案
3.3.2 评估方法
3.3.3 实验结果
3.4 本章小结
第4章 WEB漏洞检测系统实现与评估
4.1 需求分析
4.1.1 功能需求
4.1.2 性能测试
4.1.3 其他需求
4.2 系统总体架构设计与实现
4.2.1 网络爬虫模块
4.2.2 页面去重模块
4.2.3 漏洞检测模块
4.2.4 数据库设计模块
4.3 系统测试与结果分析
4.3.1 测试目的
4.3.2 测试环境
4.3.3 测试过程与结果分析
4.4 本章小结
第5章 结论与展望
5.1 全文总结
5.2 未来展望
参考文献
攻读硕士期间发表的论文及所取得的研究成果
致谢
【参考文献】：
期刊论文
[1]网络个人信息风险与保护策略研究[J]. 吴丹. 网络安全技术与应用. 2019(03)
[2]大数据时代数据分析与信息安全防护[J]. 李福琳. 山东工业技术. 2019(06)
[3]基于云计算的网络信息安全管理系统设计[J]. 王明君. 电子技术与软件工程. 2019(04)
[4]网络通信安全与信息系统管理的安全探讨[J]. 黄武涛. 农家参谋. 2019(05)
[5]WebDriver自动化测试研究与应用[J]. 杨国勋. 科技传播. 2019(02)
[6]数据隐私保护新思路:从依赖他方到自主可控[J]. 姚前. 中国信息安全. 2019(01)
[7]A Method for Time-Series Location Data Publication Based on Differential Privacy[J]. KANG Haiyan,ZHANG Shuxuan,JIA Qianqian. Wuhan University Journal of Natural Sciences. 2019(02)
[8]基于Web渗透测试的SQL注入研究[J]. 曾佩璇,汤艳君,钱丽纳. 网络安全技术与应用. 2018(12)
[9]基于特征集合的XSS漏洞安全研究[J]. 齐晓霞,丁黄法,王琦进. 西华大学学报(自然科学版). 2018(06)
[10]基于朴素贝叶斯的新闻分类改进[J]. 孙子杰. 电子制作. 2018(22)
博士论文
[1]面向防御的网络欺骗技术研究[D]. 贾召鹏.北京邮电大学 2018
硕士论文
[1]基于Scrapy的分布式网络爬虫系统设计与实现[D]. 樊宇豪.电子科技大学 2018
[2]面向Web应用的SQL注入防御技术研究[D]. 赵茜.哈尔滨工程大学 2018
[3]基于Selenium的数据自动抓取软件设计与实现[D]. 赵梦影.大连理工大学 2018
[4]基于改进爬虫技术的SQL注入的自动化扫描工具的研究与设计[D]. 贾潇雨.北京邮电大学 2018
[5]基于SQLite辅数据库的供应商关系管理移动端设计与实现[D]. 罗琪成.山东大学 2018
[6]基于网络爬虫的Web安全扫描工具的设计与实现[D]. 翟涵.北京邮电大学 2018
[7]WEB实体信息的提取算法及其应用研究[D]. 高峰.电子科技大学 2018
[8]XSS攻击检测与安全防护技术研究与设计[D]. 杨君.北京邮电大学 2017
[9]Web应用系统漏洞检测技术研究与实现[D]. 洪俊斌.广东工业大学 2016
[10]Web应用漏洞分析与检测的研究[D]. 孙晓飞.北京邮电大学 2016
本文编号：3196260
本文链接：https://www.wllwen.com/guanlilunwen/ydhl/3196260.html
