基于日志采集技术的安全事件系统的设计与实现
发布时间：2021-02-01 08:01
互联网时代社会经济快速发展,同时作为承载互联网及其应用的运营商数据中心规模也在不断拓展。高速发展的不只是信息化建设,网络中的数据规模、数据的孤岛响应、网络中设备的种类和数量、网络潜在的安全风险等同样也发生了翻天覆地的变化。数据中心的运维人员所维护的网络越来越大,网络中的网元节点越来越多;各种设备产生的海量日志信息给运维人员及其单位造成了很大的负担;同时安全设备各自为战、大量重复、无效的信息挤压着运维人员宝贵的时间。市场急需一款产品可以将目标网络中各种设备的日志信息进行集中的收集和整合,并且对采集到的日志进行集中范式化处理和入库存储,并通过关联分析技术对存储的数据日志进行数据挖掘,分析得出潜在的安全风险并向安全运维人员进行事件告警从而减轻运维人员的工作压力提高工作效率。本文在分析市场需求的基础上,设计并实现安全事件系统;通过功能架构设计明确系统边界和范围,安全事件系统的关键组件及核心功能包括日志采集模块、资产管理模块、关联分析模块等构成。同时经过调研国内外成熟产品及开源项目的现状,发现同类型产品将日志采集的广度和日志关联分析的深度作为产品的核心竞争力,所以本文将二者作为关键技术进行突破,...
【文章来源】：西安电子科技大学陕西省 211工程院校 教育部直属院校
【文章页数】：100 页
【学位级别】：硕士
【部分图文】：
数据中心日志情况
西安电子科技大学硕士学位论文14其风险。日志采集支持标准日志信息格式包括Windows、Syslog、SNMP、数据库、VIP、OPSEC、XML、ODBC、读文件等，通过被采集方推送或采集方抓取的方式获取被采集方的日志信息。同时在日志采集探针中包含了数百家厂商的日志范式化的数据信息以兼容这些厂家的不同设备，不同产品所产生的日志信息。当然，采集的日志范式化数据集是可扩展的，可以向后兼容使用标准协议的所有安全设备的日志信息，为信息系统的扩展性，成长性留下了充足的空间。如下所示图3.2所示日志采集模块按照采集的手段结合主动\被动的的信息获取方式，不间断地从数据中心网络中采集各设备类型的多样化日志信息，并将这些信息汇集到中心平台，进行集中化的存储、分析，并提供统一的日志查询入口；并提供报表功能用以导出客户的周期\非周期的日志趋势情况，实现日志的全生命周期管理，同时，还采集不同安全域内的资产信息，通过网络安全设备与域内信息资产的综合分析得出系统整体的安全风险信息。通过部署的安全日志采集模块，将数据中心各网络区域中网元设备的原始日志(包括但不限于网络设备、主机系统、入侵防御系统、VPN系统、防火墙系统、IDS系统、审计系统、防病毒系统等)集中采集到安全事件系统中的服务器端进行处理，处理的前提条件为该设备的日志信息需要提前提供日志格式，安全事件系统根据事件格式预先开发适配解析插件，处理过程为根据插件ID匹配设备类型，并结合过滤、归并等规则统一多种类多格式的日志数据，从而实现了针对全网日志的集中收集和处理，具备了实时事件/业务安全监控能力，底层通过对数据进行挖掘和统计分析，利用查询和检索功能，为事后溯源审计提供有利的技术支持和保障。日志采集模块负责在安全事件系统和安
第三章系统需求分析21日志数据表按照日志类型过滤、归并按照日志级别进行过滤、归并启明绿盟天融信华为防火墙IPSWAF安全审计数据库日志安全设备日志应用系统日志其他类型日志厂商类型设备类型日志类型紧急急一般忽略重要一般重要不重要忽略紧急程度重要程度图3.8日志处理流程（6）日志采集用例系统管理员日志采集插件日志采集Agent日志源管理设备插件适配添加日志源删除日志源安装agent绿盟防火墙插件启明入侵检测插件H3C交换机插件ORACLE数据库插件配置agent<<包含>><<包含>><<包含>><<包含>><<包含>><<扩展>><<扩展>><<扩展>><<扩展>>图3.9日志采集用例图系统管理员可以添加日志源、配置日志采集插件及下载安装日志采集Agent，同时日志采集插件可以按照日志源设备类型的不同进行区分。例如绿盟防火墙插件、启明入侵检测插件等，日志采集的用例如图3.9日志采集用例图所示。（1）用例描述表3.2日志采集模块用例描述用例ID2用例名称日志采集模块用例用例简介通过用例描述设备将原始日志经过插件配置、数据协议传输、范式化过
【参考文献】：
期刊论文
[1]基于改进Apriori算法的多源安全日志关联分析[J]. 瓮俊昊. 现代计算机(专业版). 2019(09)
[2]基于Hadoop的Web日志分析系统的设计[J]. 何璇,马佳琳. 软件工程. 2019(02)
[3]利用Elastic Stack构建集中运维日志分析平台[J]. 张鹏. 电子技术与软件工程. 2018(15)
[4]云计算下的一种关联挖掘算法的研究[J]. 陈建尧. 科技通报. 2018(07)
[5]基于SIEM的APT检测与防御体系研究[J]. 李艳斐,李斯祺. 网络空间安全. 2018(06)
[6]基于网络日志进行大数据分析的安全感知[J]. 向永谦,李欣,满建文. 自动化博览. 2018(06)
[7]网络安全事件关联分析方法实践与反思[J]. 李倩. 黑河学院学报. 2018(03)
[8]关联挖掘算法及发展趋势[J]. 李忠,安建琴,刘海军,宋奕瑶. 智能计算机与应用. 2017(05)
[9]多源日志聚合分析方法[J]. 顾兆军,王帅卿,张礼哲. 计算机工程与设计. 2017(07)
[10]从日志中找线索[J]. 赵志远,章继刚,季莹,孙楠楠. 网络安全和信息化. 2017(06)
硕士论文
[1]日志采集器组件LogCollector的设计与实现[D]. 陈志涛.华中科技大学 2019
[2]基于ELK的Web日志分析系统的设计与实现[D]. 罗学贯.华南理工大学 2018
[3]基于行为分析的僵尸网络画像技术研究[D]. 周亚胜.西安电子科技大学 2018
[4]IDS告警信息关联分析系统的研究与实现[D]. 李思达.北京邮电大学 2018
[5]基于关联分析的攻击场景重构算法研究[D]. 郭韬.北京邮电大学 2018
[6]基于时间序列数据挖掘的日志分析技术的研究[D]. 王陈.北京交通大学 2018
[7]关联和聚类分析在数据挖掘中应用[D]. 余晓溪.云南大学 2015
[8]基于日志的安全信息与事件管理系统新架构的研究与设计[D]. 王兰云.北京邮电大学 2014
[9]基于Web日志的用户访问模式挖掘的研究[D]. 夏聪.江苏科技大学 2011
[10]基于SYSLOG的集中日志管理系统的研究与实现[D]. 叶玲肖.浙江工商大学 2011
本文编号：3012458
【文章来源】：西安电子科技大学陕西省 211工程院校 教育部直属院校
【文章页数】：100 页
【学位级别】：硕士
【部分图文】：
数据中心日志情况
西安电子科技大学硕士学位论文14其风险。日志采集支持标准日志信息格式包括Windows、Syslog、SNMP、数据库、VIP、OPSEC、XML、ODBC、读文件等，通过被采集方推送或采集方抓取的方式获取被采集方的日志信息。同时在日志采集探针中包含了数百家厂商的日志范式化的数据信息以兼容这些厂家的不同设备，不同产品所产生的日志信息。当然，采集的日志范式化数据集是可扩展的，可以向后兼容使用标准协议的所有安全设备的日志信息，为信息系统的扩展性，成长性留下了充足的空间。如下所示图3.2所示日志采集模块按照采集的手段结合主动\被动的的信息获取方式，不间断地从数据中心网络中采集各设备类型的多样化日志信息，并将这些信息汇集到中心平台，进行集中化的存储、分析，并提供统一的日志查询入口；并提供报表功能用以导出客户的周期\非周期的日志趋势情况，实现日志的全生命周期管理，同时，还采集不同安全域内的资产信息，通过网络安全设备与域内信息资产的综合分析得出系统整体的安全风险信息。通过部署的安全日志采集模块，将数据中心各网络区域中网元设备的原始日志(包括但不限于网络设备、主机系统、入侵防御系统、VPN系统、防火墙系统、IDS系统、审计系统、防病毒系统等)集中采集到安全事件系统中的服务器端进行处理，处理的前提条件为该设备的日志信息需要提前提供日志格式，安全事件系统根据事件格式预先开发适配解析插件，处理过程为根据插件ID匹配设备类型，并结合过滤、归并等规则统一多种类多格式的日志数据，从而实现了针对全网日志的集中收集和处理，具备了实时事件/业务安全监控能力，底层通过对数据进行挖掘和统计分析，利用查询和检索功能，为事后溯源审计提供有利的技术支持和保障。日志采集模块负责在安全事件系统和安
第三章系统需求分析21日志数据表按照日志类型过滤、归并按照日志级别进行过滤、归并启明绿盟天融信华为防火墙IPSWAF安全审计数据库日志安全设备日志应用系统日志其他类型日志厂商类型设备类型日志类型紧急急一般忽略重要一般重要不重要忽略紧急程度重要程度图3.8日志处理流程（6）日志采集用例系统管理员日志采集插件日志采集Agent日志源管理设备插件适配添加日志源删除日志源安装agent绿盟防火墙插件启明入侵检测插件H3C交换机插件ORACLE数据库插件配置agent<<包含>><<包含>><<包含>><<包含>><<包含>><<扩展>><<扩展>><<扩展>><<扩展>>图3.9日志采集用例图系统管理员可以添加日志源、配置日志采集插件及下载安装日志采集Agent，同时日志采集插件可以按照日志源设备类型的不同进行区分。例如绿盟防火墙插件、启明入侵检测插件等，日志采集的用例如图3.9日志采集用例图所示。（1）用例描述表3.2日志采集模块用例描述用例ID2用例名称日志采集模块用例用例简介通过用例描述设备将原始日志经过插件配置、数据协议传输、范式化过
【参考文献】：
期刊论文
[1]基于改进Apriori算法的多源安全日志关联分析[J]. 瓮俊昊. 现代计算机(专业版). 2019(09)
[2]基于Hadoop的Web日志分析系统的设计[J]. 何璇,马佳琳. 软件工程. 2019(02)
[3]利用Elastic Stack构建集中运维日志分析平台[J]. 张鹏. 电子技术与软件工程. 2018(15)
[4]云计算下的一种关联挖掘算法的研究[J]. 陈建尧. 科技通报. 2018(07)
[5]基于SIEM的APT检测与防御体系研究[J]. 李艳斐,李斯祺. 网络空间安全. 2018(06)
[6]基于网络日志进行大数据分析的安全感知[J]. 向永谦,李欣,满建文. 自动化博览. 2018(06)
[7]网络安全事件关联分析方法实践与反思[J]. 李倩. 黑河学院学报. 2018(03)
[8]关联挖掘算法及发展趋势[J]. 李忠,安建琴,刘海军,宋奕瑶. 智能计算机与应用. 2017(05)
[9]多源日志聚合分析方法[J]. 顾兆军,王帅卿,张礼哲. 计算机工程与设计. 2017(07)
[10]从日志中找线索[J]. 赵志远,章继刚,季莹,孙楠楠. 网络安全和信息化. 2017(06)
硕士论文
[1]日志采集器组件LogCollector的设计与实现[D]. 陈志涛.华中科技大学 2019
[2]基于ELK的Web日志分析系统的设计与实现[D]. 罗学贯.华南理工大学 2018
[3]基于行为分析的僵尸网络画像技术研究[D]. 周亚胜.西安电子科技大学 2018
[4]IDS告警信息关联分析系统的研究与实现[D]. 李思达.北京邮电大学 2018
[5]基于关联分析的攻击场景重构算法研究[D]. 郭韬.北京邮电大学 2018
[6]基于时间序列数据挖掘的日志分析技术的研究[D]. 王陈.北京交通大学 2018
[7]关联和聚类分析在数据挖掘中应用[D]. 余晓溪.云南大学 2015
[8]基于日志的安全信息与事件管理系统新架构的研究与设计[D]. 王兰云.北京邮电大学 2014
[9]基于Web日志的用户访问模式挖掘的研究[D]. 夏聪.江苏科技大学 2011
[10]基于SYSLOG的集中日志管理系统的研究与实现[D]. 叶玲肖.浙江工商大学 2011
本文编号：3012458
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3012458.html
