网络空间安全大数据实时计算平台关键技术研究

发布时间：2017-08-01 00:27

  本文关键词：网络空间安全大数据实时计算平台关键技术研究

  更多相关文章： 网络空间安全 大数据技术 系统架构 实时计算 流量监控

【摘要】：近些年来,接入设备的激增、网络应用的不断涌现和互联网流量的爆发式增长使得网络规模迅速扩大、网络环境日益复杂,开展网络安全分析工作的难度越来越大。与以往相比,网络攻击的隐蔽性更强而且更加难以防范,有针对性的大规模恶意网络攻击也愈发常见,网络安全形势依然不容乐观。当前,网络安全分析系统所面临的挑战不仅仅来自于攻击手段和技术的不断进化,计算速度以及横向扩展能力已成为制约基于传统架构模式的网络安全分析系统向复杂网络环境迁移的主要瓶颈,海量的数据规模已经远远超过了其处理能力的极限。本文首先从系统架构入手,提出了一种以开源大数据技术为依托的网络安全实时计算平台设计方案,该设计方案共包含七个层次,每一层都作为一个功能实体向上提供服务。平台架构中各层的实现都依赖于高性能分布式技术,如Storm、Spark、Kafka、Flume等,涵盖了集群资源管理、分布式协调、数据持久化存储、计算引擎等方面。该架构可以同时提供实时计算、离线处理、图计算等多种类型的数据处理服务,而且能够很好地满足海量数据存储需求。在这种以大数据技术为中心的架构模式之上,本文实现了一个面向天津教育城域网的实时流量监控系统。该流量监控系统在底层计算引擎上同时部署了多项数据处理业务逻辑,可以实现对多种类型DDoS攻击的预警与检测。本文所设计的DDoS攻击检测算法主要包括指数加权移动平均算法(EWMA)、异常流量区间定位算法和攻击类型判别规则这三个部分:EWMA算法按照指数递减的方式来为历史数值赋予权重并计算下一时刻的预估值,通过对比实际测量值和预估值就可以判别出网络流量的异常波动;与EWMA的分析结果相结合,异常流量区间定位算法能够实现对网络流量异常时段的准确定位;攻击类型判别算法则为不同类型的DDoS攻击提供了有针对性的判别规则。本文从系统吞吐量、Worker并发数、节点负载等维度对系统性能进行了深入的分析和讨论,而在验证DDo S攻击检测有效性的过程中,本文将天津教育城域网Netflow数据与绿盟抗DDoS系统(Anti-DDoS System)日志相结合,通过ADS日志压缩、数据处理、数据分析等操作步骤实现了对本系统DDoS攻击事件检测效果的评估。最后,本文借助多项网络负载指标对天津教育城域网流量变化情况进行了深入分析和探究。
【关键词】：网络空间安全 大数据技术 系统架构 实时计算 流量监控
【学位授予单位】：天津理工大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP393.08;TP311.13
【目录】：

• 摘要5-6
• Abstract6-9
• 第一章 绪论9-14
• 1.1 研究背景和意义9-11
• 1.2 国内外研究现状11-12
• 1.3 主要研究工作及创新点12-13
• 1.4 文章内容组织13-14
• 第二章 相关技术与理论14-20
• 2.1 大数据14
• 2.2 分布式技术14-19
• 2.2.1 Apache Spark15-17
• 2.2.2 Apache Storm17
• 2.2.3 Apache Hadoop17-18
• 2.2.4 HBase18
• 2.2.5 Apache Kafka18-19
• 2.3 Netflow19
• 2.4 本章小结19-20
• 第三章 网络安全大数据计算平台架构20-29
• 3.1 平台整体架构20-21
• 3.2 集群管理层21-22
• 3.3 数据仓库层22-24
• 3.4 计算层24-25
• 3.5 数据分析层25-26
• 3.6 可视化层26
• 3.7 数据处理流程设计26-28
• 3.8 本章小结28-29
• 第四章 大规模网络流量实时监控系统的设计与实现29-44
• 4.1 系统处理流程设计29-30
• 4.2 Netflow数据实时处理30-32
• 4.2.1 网络负载指标实时计算模块31-32
• 4.2.2 Flow还原模块32
• 4.2.3 原始数据持久化模块32
• 4.3 DDoS攻击检测32-39
• 4.3.1 指数加权移动平均算法32-33
• 4.3.2 流量异常波动定位算法的实现33-35
• 4.3.3 攻击类型判别规则35-39
• 4.4 Spark内核实现原理分析39-42
• 4.4.1 Spark逻辑执行图39-40
• 4.4.2 Spark物理执行图40-42
• 4.4.3 Spark作业执行过程42
• 4.5 本章小结42-44
• 第五章 系统验证44-61
• 5.1 实验环境44-48
• 5.1.1 物理集群44
• 5.1.2 集群管理系统44-45
• 5.1.3 数据采集与传输工具45-46
• 5.1.4 数据存储管理系统46-47
• 5.1.5 大数据计算引擎47-48
• 5.2 Storm集群性能验证48-51
• 5.2.1 系统吞吐量48-49
• 5.2.2 工作节点个数对系统性能的影响49-51
• 5.3 DDoS攻击检测模块有效性51-60
• 5.3.1 检测结果验证方法描述52-56
• 5.3.2 Flow创建速率与DDoS攻击检测56-60
• 5.4 本章小结60-61
• 第六章 总结与展望61-63
• 6.1 本文主要研究工作总结61-62
• 6.2 展望62-63
• 参考文献63-66
• 发表论文和科研情况说明66-67
• 致谢67-68

【相似文献】

中国期刊全文数据库 前10条

1 ;2013年企业将大规模投资大数据技术[J];通讯世界;2013年06期

2 赵姝淳;孙曙辉;;大数据技术及其在教育领域的应用[J];中小学信息技术教育;2014年03期

3 ;2013中国大数据技术大会将在京举办[J];计算机光盘软件与应用;2013年22期

4 ;2013中国大数据技术大会圆满落幕[J];信息网络安全;2014年01期

5 梁春丽;;英国政府尝鲜大数据技术[J];金融科技时代;2013年06期

6 孙中东;;大数据技术应用与银行信用评级体系创新之探[J];金融电子化;2013年11期

7 邱仁宗;黄雯;翟晓梅;;大数据技术的伦理问题[J];科学与社会;2014年01期

8 刘鹏;;专题:大数据技术与应用[J];中兴通讯技术;2013年04期

9 刘莉;阎桂兰;;新一波科技浪潮——大数据技术引领“智慧城市”发展方向[J];海峡科技与产业;2013年10期

10 秦建秀;;大数据一定需要大投入吗?[J];软件和信息服务;2012年06期

中国重要会议论文全文数据库 前5条

1 ;北京京南航天数据技术有限公司[A];第十二届全国实验力学学术会议论文摘要集[C];2009年

2 徐子伟;张陈斌;陈宗海;;大数据技术概述[A];系统仿真技术及其应用学术论文集（第15卷）[C];2014年

3 贾丽;严f^隽;李聿渊;尹航;;大数据技术在指挥信息系统中的应用研究[A];2014第二届中国指挥控制大会论文集（下）[C];2014年

4 李忠;李姗姗;韩莹;;地震监测大数据技术研究框架[A];大数据、云计算与地球物理应用研讨活动论文摘要集[C];2014年

5 李欣;任越;;数据技术在存量住房批量评税中的运用[A];中国房地产估价师与房地产经纪人学会2011年年会论文集[C];2011年

中国重要报纸全文数据库 前10条

1 记者 刘石磊;英国大数据技术应用获突破 瓶颈等问题尚待解决[N];经济参考报;2013年

2 中国证券投资基金业协会 王苇航;英国投资“大数据”能带来大收益吗[N];中国财经报;2013年

3 姜念云;以大数据技术促文化资源管理[N];中国文化报;2013年

4 本报记者 王娟;用大数据技术再造企业“外脑”[N];中国计算机报;2013年

5 陶翔 罗天雨;大数据技术的发展历程及其演化趋势[N];科技日报;2014年

6 记者 张兰;运用大数据技术推进保险业创新发展[N];金融时报;2014年

7 记者 李利军;巨细公司以纺织大数据技术打造共赢圈[N];中国纺织报;2014年

8 李倩;数据技术让保险更精彩[N];金融时报;2014年

9 北京大学教育学院副院长 教育技术系主任 尚俊杰;大数据技术下，，如何报志愿？[N];光明日报;2014年

10 本报记者 陈鹏;改变生活，它真无所不能？[N];大连日报;2013年

中国硕士学位论文全文数据库 前10条

1 陈敏伟;大数据技术在铁路货运电子商务系统中的基本应用研究[D];西南交通大学;2015年

2 赵毅;大数据技术对新闻业务的影响研究[D];大连理工大学;2015年

3 张蕾;基于3D打印的海量创意管理服务研究与实现[D];中国海洋大学;2015年

4 孔祥瑞;基于大数据技术的清帐单系统设计与实现[D];南京大学;2014年

5 杜明建;大数据技术在负荷预测与负荷特性分析中的应用[D];东南大学;2015年

6 涂燕燕;大数据技术对科学认识和社会伦理的影响[D];江西财经大学;2015年

7 孟杰;基于大数据技术应用的商业模式设计路径研究[D];东南大学;2015年

8 张静;大数据技术在学生业绩分析中的研究与应用[D];吉林大学;2016年

9 冯阳;大数据技术在农技推广中的应用研究[D];中国农业科学院;2016年

10 闫经伟;大数据技术的伦理问题及其责任规约[D];大连理工大学;2016年

本文编号：601801