基于大数据的网络异常行为检测技术研究
发布时间：2021-01-29 09:45
针对传统的网络异常行为检测方法无法满足大规模数据的存储和处理,且由于算法单一普遍存在准确率较低、误报率较高等问题,本文首先对基于大数据的网络异常分析平台进行了研究,设计了一种基于大数据的网络异常行为分析平台;然后基于Spark设计并实现并行化SASVMRF网络异常行为检测模型;最后利用NSL-KDD数据集验证了方法的有效性。具体地,本文主要的研究成果如下:（1）设计了一种适用于网络异常行为分析的平台。在对现有大数据分析平台进行研究的基础之上设计了一种针对网络异常检测的分析平台,该平台包括数据采集与预处理层、数据分析层、数据存储层和可视化层。充分利用大数据技术,解决了传统网络异常行为分析方法在应对在大数据环境时无法有效处理的问题。（2）提出了一种网络异常行为检测方法。基于Spark设计并实现了并行化SASVMRF网络异常行为检测模型,并利用NSL-KDD数据集对提出的算法进行对比测试,实验结果表明,该算法能有效提高网络异常行为检测的准确率,降低误报率,也提高了检测速率。（3）实现了网络异常在线检测。为...
【文章来源】： 刘建兰 西南科技大学
【文章页数】：62 页
【学位级别】：硕士
【部分图文】：
Flume系统架构图
西南科技大学硕士学位论文8Broker可以容纳多个Topic。（2）Topic：Kafka中每条消息都属于存储在一个（或多个）Broker中的某个Topic，然而用户并不需要关心数据存放在何处只需指定消息的主题名即可生产或者消费数据。（3）Partition：为了实现可扩展性，一个Topic可以被分为多个Partition，消息通过轮询或者哈希算法散列分布到多台Broker的Partition中，其中的每条消息都有一个自增Id（Offset）。（4）Offset：在Topic的Partition中，Offset随着同一个Partition中消息的写入自增。（5）Replica：Topic的Partition含有多个副本，其中一个为用于所有读写请求的Leader，剩余的是作为备用的Follower。（6）Message：每个消息生产者向一个主题发布的一些消息。（7）Producer：数据生产者将消息发布到指定的主题中，同时它也决定此消息所属的Partition。（8）Consumer：主要负责根据分区索引及其消息偏移量从指定的Topic中拉取消息。（9）ConsumerGroup：它和Consumer之间是一对多的关系，消息会在同一消费组的消息者之间进行负载均衡。（10）Zookeeper：在Zookeeper集群中会保存Kafka集群中Topic、Broker的状态以及Consumer的消费信息等。通过这些信息，Kafka很好地结合了消息生产、存储、合消费的整个过程。一个典型的Kafka集群中包含若干个Producer、Broker、ConsumerGroup和Zookeeper。Kafka拓扑结构图如图2-2所示。Producer产生数据并使用push模式将消息发布到Broker上的Topic中，Consumer使用pull模式从Topic中拉取并消费消息，Zookeeper则负责管理协调Kafka集群。图2-2Kafka拓扑结构图
2相关技术介绍92.3大数据处理框架SparkSpark是一个扩展了MapReduce计算框架而且进一步提高了速度的基于内存的计算框架。Spark兼容存储历史数据的SparkSQL、用于实时分析的SparkStreaming、用于离线分析的SparkMLlib和图计算GraphX等计算模型。Spark相比于MapReduce具有速度快、性能高、多个计算模型集成等优点，即使是必须在磁盘上进行的复杂计算，依然比MapReduce高效迅速，因此该技术受到了广大开发者的关注。ApacheSpark引入了一种称为弹性分布式数据集（RDD）的抽象概念，RDD具有高容错、并行化、弹性的特点，使用户可以将数据显示地存放到磁盘和内存中并进行控制。Spark的运行架构如图2-3所示，包括任务控制节点(Driver)、集群资源管理器(ClusterManager)、工作节点(WorkerNode)和每个工作节点上的执行进程(Executor)。图2-3Spark的运行架构Spark运行模式可分为单机模式和集群模式，其中集群模式又可分为Standalone独立集群模式、YARN集群模式和Mesos集群模式。本文配置YARN集群模式，该模式在启动YARN集群的前提下，通过./bin/spark-submit--classxxxxxx命令将应用程序提交给YARN上运行，通过YARN资源调度在容器中启动要执行的进程，从而完成控制节点端分发给工作节点中执行进程的各个任务。YARN集群模式又分为YarnClinet和YarnCluster两种运行模式，两者的区别在于Driver端启动在本地(Client)，还是在Yarn集群内部的AM中(Cluster)，可以通过yarn-client和yarn-cluster命令指定，本文选择可将数据存储在HDFS中方便查看的YarnCluster模式。YarnCluster集群模式的运行原理如图2-4所示，具体如下：
【参考文献】：
期刊论文
[1]改进的随机森林分类器网络入侵检测方法[J]. 夏景明,李冲,谈玲,周刚. 计算机工程与设计. 2019(08)
[2]基于独热编码和卷积神经网络的异常检测[J]. 梁杰,陈嘉豪,张雪芹,周悦,林家骏. 清华大学学报(自然科学版). 2019(07)
[3]基于K-means聚类特征消减的网络异常检测[J]. 贾凡,严妍,张家琪. 清华大学学报(自然科学版). 2018(02)
[4]基于大数据的网络异常行为建模方法[J]. 董娜,刘伟娜,侯波涛. 电力信息与通信技术. 2018(01)
[5]基于大数据技术的网络异常行为分析监测系统[J]. 王萍. 电子技术与软件工程. 2017(24)
[6]基于大数据的网络安全与情报分析[J]. 陈兴蜀,曾雪梅,王文贤,邵国林. 工程科学与技术. 2017(03)
[7]基于多维时间序列分析的网络异常检测[J]. 陈兴蜀,江天宇,曾雪梅,尹学渊,邵国林. 工程科学与技术. 2017(01)
[8]大数据环境下网络安全态势感知研究进展[J]. 卢湛昌. 网络安全技术与应用. 2017(01)
[9]基于流量行为特征的异常流量检测[J]. 胡洋瑞,陈兴蜀,王俊峰,叶晓鸣. 信息网络安全. 2016(11)
博士论文
[1]基于深度学习的网络异常检测技术研究[D]. 尹传龙.战略支援部队信息工程大学 2018
硕士论文
[1]基于Spark的网络异常流量检测系统的设计与实现[D]. 周继成.北京邮电大学 2019
[2]基于大数据的网络异常行为检测平台的设计与实现[D]. 李若鹏.华南理工大学 2018
[3]入侵检测系统中特征选择算法与模型构建方法的研究[D]. 于洋.兰州大学 2017
本文编号：3006680
【文章来源】： 刘建兰 西南科技大学
【文章页数】：62 页
【学位级别】：硕士
【部分图文】：
Flume系统架构图
西南科技大学硕士学位论文8Broker可以容纳多个Topic。（2）Topic：Kafka中每条消息都属于存储在一个（或多个）Broker中的某个Topic，然而用户并不需要关心数据存放在何处只需指定消息的主题名即可生产或者消费数据。（3）Partition：为了实现可扩展性，一个Topic可以被分为多个Partition，消息通过轮询或者哈希算法散列分布到多台Broker的Partition中，其中的每条消息都有一个自增Id（Offset）。（4）Offset：在Topic的Partition中，Offset随着同一个Partition中消息的写入自增。（5）Replica：Topic的Partition含有多个副本，其中一个为用于所有读写请求的Leader，剩余的是作为备用的Follower。（6）Message：每个消息生产者向一个主题发布的一些消息。（7）Producer：数据生产者将消息发布到指定的主题中，同时它也决定此消息所属的Partition。（8）Consumer：主要负责根据分区索引及其消息偏移量从指定的Topic中拉取消息。（9）ConsumerGroup：它和Consumer之间是一对多的关系，消息会在同一消费组的消息者之间进行负载均衡。（10）Zookeeper：在Zookeeper集群中会保存Kafka集群中Topic、Broker的状态以及Consumer的消费信息等。通过这些信息，Kafka很好地结合了消息生产、存储、合消费的整个过程。一个典型的Kafka集群中包含若干个Producer、Broker、ConsumerGroup和Zookeeper。Kafka拓扑结构图如图2-2所示。Producer产生数据并使用push模式将消息发布到Broker上的Topic中，Consumer使用pull模式从Topic中拉取并消费消息，Zookeeper则负责管理协调Kafka集群。图2-2Kafka拓扑结构图
2相关技术介绍92.3大数据处理框架SparkSpark是一个扩展了MapReduce计算框架而且进一步提高了速度的基于内存的计算框架。Spark兼容存储历史数据的SparkSQL、用于实时分析的SparkStreaming、用于离线分析的SparkMLlib和图计算GraphX等计算模型。Spark相比于MapReduce具有速度快、性能高、多个计算模型集成等优点，即使是必须在磁盘上进行的复杂计算，依然比MapReduce高效迅速，因此该技术受到了广大开发者的关注。ApacheSpark引入了一种称为弹性分布式数据集（RDD）的抽象概念，RDD具有高容错、并行化、弹性的特点，使用户可以将数据显示地存放到磁盘和内存中并进行控制。Spark的运行架构如图2-3所示，包括任务控制节点(Driver)、集群资源管理器(ClusterManager)、工作节点(WorkerNode)和每个工作节点上的执行进程(Executor)。图2-3Spark的运行架构Spark运行模式可分为单机模式和集群模式，其中集群模式又可分为Standalone独立集群模式、YARN集群模式和Mesos集群模式。本文配置YARN集群模式，该模式在启动YARN集群的前提下，通过./bin/spark-submit--classxxxxxx命令将应用程序提交给YARN上运行，通过YARN资源调度在容器中启动要执行的进程，从而完成控制节点端分发给工作节点中执行进程的各个任务。YARN集群模式又分为YarnClinet和YarnCluster两种运行模式，两者的区别在于Driver端启动在本地(Client)，还是在Yarn集群内部的AM中(Cluster)，可以通过yarn-client和yarn-cluster命令指定，本文选择可将数据存储在HDFS中方便查看的YarnCluster模式。YarnCluster集群模式的运行原理如图2-4所示，具体如下：
【参考文献】：
期刊论文
[1]改进的随机森林分类器网络入侵检测方法[J]. 夏景明,李冲,谈玲,周刚. 计算机工程与设计. 2019(08)
[2]基于独热编码和卷积神经网络的异常检测[J]. 梁杰,陈嘉豪,张雪芹,周悦,林家骏. 清华大学学报(自然科学版). 2019(07)
[3]基于K-means聚类特征消减的网络异常检测[J]. 贾凡,严妍,张家琪. 清华大学学报(自然科学版). 2018(02)
[4]基于大数据的网络异常行为建模方法[J]. 董娜,刘伟娜,侯波涛. 电力信息与通信技术. 2018(01)
[5]基于大数据技术的网络异常行为分析监测系统[J]. 王萍. 电子技术与软件工程. 2017(24)
[6]基于大数据的网络安全与情报分析[J]. 陈兴蜀,曾雪梅,王文贤,邵国林. 工程科学与技术. 2017(03)
[7]基于多维时间序列分析的网络异常检测[J]. 陈兴蜀,江天宇,曾雪梅,尹学渊,邵国林. 工程科学与技术. 2017(01)
[8]大数据环境下网络安全态势感知研究进展[J]. 卢湛昌. 网络安全技术与应用. 2017(01)
[9]基于流量行为特征的异常流量检测[J]. 胡洋瑞,陈兴蜀,王俊峰,叶晓鸣. 信息网络安全. 2016(11)
博士论文
[1]基于深度学习的网络异常检测技术研究[D]. 尹传龙.战略支援部队信息工程大学 2018
硕士论文
[1]基于Spark的网络异常流量检测系统的设计与实现[D]. 周继成.北京邮电大学 2019
[2]基于大数据的网络异常行为检测平台的设计与实现[D]. 李若鹏.华南理工大学 2018
[3]入侵检测系统中特征选择算法与模型构建方法的研究[D]. 于洋.兰州大学 2017
本文编号：3006680
本文链接：https://www.wllwen.com/shoufeilunwen/xixikjs/3006680.html
