基于机器学习的安全异常发现系统的设计与实现
发布时间：2022-12-11 09:35
随着信息技术的不断发展,计算机为人们带来便利的同时,来自外部的网络攻击以及内部的异常事件也层出不穷,给安全异常的发现和检测带来严峻的挑战。传统的异常检测技术基于规则库对异常事件进行拦截。这种硬编码的技术缺乏对不断出现的新型安全异常的适应性,需要通过定期更新规则库的方式对系统进行升级。针对上述问题,本文设计一个基于机器学习的安全异常发现系统。检测进出系统的网络流量数据,利用机器学习模型进行安全异常的发现。由于如目录穿越攻击等多种网络攻击直接体现在URL上。故本系统针对的主要场景是异常访问URL检测。在模型构建上,通过分析历史访问数据构建机器学习模型,采用TF-IDF提取并构建特征,并结合使用深度自编码器和K-means进行特征降维,显著提升了模型检测的精度和时间效率。在系统构建上,将检测系统拆分为多个微服务,微服务之间采用消息队列进行协同,降低了处理过程中的各个关键节点之间的耦合,使系统可以快速方便地扩展到其他异常检测场景。检测过程中产生的新数据可用于模型的迭代升级,使系统具有较好的适应性。此外,系统提供友好的人机交互界面,使用户可以方便地了解系统运行状况,参与异常判别过程。本文首先介绍...
【文章页数】：102 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
第一章 绪论
1.1 研究背景
1.2 研究内容
1.3 文章结构安排
1.4 本章小结
第二章 相关技术概述
2.1 机器学习
2.1.1 机器学习概述
2.1.2 基于机器学习的异常检测
2.1.3 网络异常检测模型原理
2.2 TF-IDF
2.3 特征降维
2.3.1 深度自编码器
2.3.2 K-means
2.4 微服务
2.4.1 微服务的特点
2.4.2 SpringCloud
2.5 消息队列
2.5.1 消息队列简介
2.5.2 应用场景
2.6 Redis
2.7 本章小结
第三章 需求分析
3.1 功能性需求
3.1.1 用户管理
3.1.2 日志管理
3.1.3 流量监控
3.1.4 统计信息管理
3.2 非功能性需求
3.2.1 可扩展性
3.2.2 高可靠性
3.3 本章小结
第四章 系统设计与实现
4.1 系统总体设计
4.1.1 系统逻辑架构
4.1.2 服务间交互
4.1.3 系统处理时序
4.1.4 系统数据流
4.2 数据接入服务
4.2.1 通用数据源接口和通用数据单元
4.2.2 数据接入服务工作流程
4.3 模式匹配服务
4.3.1 设计目的
4.3.2 模式来源
4.3.3 模式库设计
4.3.4 模式淘汰算法
4.4 机器学习判别服务
4.4.1 工作过程概述
4.4.2 本地进程交互
4.5 中控服务
4.5.1 主要功能
4.5.2 数据库设计和前后台交互
4.5.3 阻塞策略和分级消息队列
4.6 规则库和机器学习检测方法结合策略
4.7 本章小结
第五章 异常检测算法设计
5.1 数据预处理技术
5.1.1 特征提取
5.1.2 特征降维
5.2 实验结果
5.2.1 数据集说明
5.2.2 实验结果及分析
5.3 本章小结
第六章 系统测试
6.1 测试环境
6.1.1 硬件环境
6.1.2 软件环境
6.2 系统部署
6.3 功能测试
6.3.1 测试用例
6.3.2 测试结果展示
6.3.3 功能测试总结
6.4 性能测试
6.4.1 启动时间和负载情况测试
6.4.2 主要功能的压力测试
6.4.3 性能测试总结
6.5 模式匹配服务效果测试
6.5.1 测试设计
6.5.2 测试结果
6.5.3 模式匹配服务效果测试总结
6.6 系统可复用性测试
6.6.1 KDD99场景介绍
6.6.2 系统变更
6.6.3 系统可复用性测试总结
6.7 本章小结
第七章 总结和展望
7.1 工作总结
7.2 未来展望
参考文献
致谢
作者攻读学位期间发表的学术论文目录
【参考文献】：
硕士论文
[1]基于日志数据的流程推荐服务系统[D]. 刘倩岚.北京邮电大学 2018
本文编号：3718546
【文章页数】：102 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
第一章 绪论
1.1 研究背景
1.2 研究内容
1.3 文章结构安排
1.4 本章小结
第二章 相关技术概述
2.1 机器学习
2.1.1 机器学习概述
2.1.2 基于机器学习的异常检测
2.1.3 网络异常检测模型原理
2.2 TF-IDF
2.3 特征降维
2.3.1 深度自编码器
2.3.2 K-means
2.4 微服务
2.4.1 微服务的特点
2.4.2 SpringCloud
2.5 消息队列
2.5.1 消息队列简介
2.5.2 应用场景
2.6 Redis
2.7 本章小结
第三章 需求分析
3.1 功能性需求
3.1.1 用户管理
3.1.2 日志管理
3.1.3 流量监控
3.1.4 统计信息管理
3.2 非功能性需求
3.2.1 可扩展性
3.2.2 高可靠性
3.3 本章小结
第四章 系统设计与实现
4.1 系统总体设计
4.1.1 系统逻辑架构
4.1.2 服务间交互
4.1.3 系统处理时序
4.1.4 系统数据流
4.2 数据接入服务
4.2.1 通用数据源接口和通用数据单元
4.2.2 数据接入服务工作流程
4.3 模式匹配服务
4.3.1 设计目的
4.3.2 模式来源
4.3.3 模式库设计
4.3.4 模式淘汰算法
4.4 机器学习判别服务
4.4.1 工作过程概述
4.4.2 本地进程交互
4.5 中控服务
4.5.1 主要功能
4.5.2 数据库设计和前后台交互
4.5.3 阻塞策略和分级消息队列
4.6 规则库和机器学习检测方法结合策略
4.7 本章小结
第五章 异常检测算法设计
5.1 数据预处理技术
5.1.1 特征提取
5.1.2 特征降维
5.2 实验结果
5.2.1 数据集说明
5.2.2 实验结果及分析
5.3 本章小结
第六章 系统测试
6.1 测试环境
6.1.1 硬件环境
6.1.2 软件环境
6.2 系统部署
6.3 功能测试
6.3.1 测试用例
6.3.2 测试结果展示
6.3.3 功能测试总结
6.4 性能测试
6.4.1 启动时间和负载情况测试
6.4.2 主要功能的压力测试
6.4.3 性能测试总结
6.5 模式匹配服务效果测试
6.5.1 测试设计
6.5.2 测试结果
6.5.3 模式匹配服务效果测试总结
6.6 系统可复用性测试
6.6.1 KDD99场景介绍
6.6.2 系统变更
6.6.3 系统可复用性测试总结
6.7 本章小结
第七章 总结和展望
7.1 工作总结
7.2 未来展望
参考文献
致谢
作者攻读学位期间发表的学术论文目录
【参考文献】：
硕士论文
[1]基于日志数据的流程推荐服务系统[D]. 刘倩岚.北京邮电大学 2018
本文编号：3718546
本文链接：https://www.wllwen.com/guanlilunwen/ydhl/3718546.html
