基于并行化混合粒子群算法的网络入侵检测技术研究
发布时间：2020-08-13 06:56
【摘要】：网络入侵检测技术是保障网络安全的方法之一,在现有的各类网络入侵检测方法中,以基于机器学习算法的方法效果最为突出,即使用机器学习算法作为分类器来对相关数据进行归类以检测出入侵行为的方法。最小二乘支持向量机作为分类器具有检测精度高、泛化能力好等优点,而且相对于标准支持向量机,由于简化了算法中待解决的问题,在计算效率上也有一定程度上的改进,但由于其分类性能很大程度上受到自身参数选择的影响,因此如何更好的去选择合适的参数成为提高该类方法检测精度的关键。当前对于模型参数选择的方法主要分为两类,一类是基于人工后验经验的选择,该方法具有较强的主观性,会由于研究人员在对待目标问题上相关经验的不同而导致选择的参数对分类结果产生潜在的影响;另一类是基于智能优化算法对分类器作参数寻优的方法,但由于智能优化算法自身存在的一些缺陷会导致参数寻优精度欠佳,应用智能算法寻优得到的参数后也会影响分类器的分类准确率,因此该类方法仍存在一定的改进。针对智能算法对分类器作参数寻优的方法,本文在现有理论基础之上首先结合反向学习理论提出了一种改进的综合学习粒子群优化算法,并通过改进后的算法对最小二乘支持向量机进行参数寻优,提出了一种改进的网络入侵检测模型。随后,针对改进后的综合学习粒子群算法中存在大量迭代、解决复杂问题时收敛时间较长的缺陷,结合目前已有的并行化模型,提出了一种改进的并行化混合粒子群算法。并行化混合粒子群算法分为整体种群和子群两部分,整体种群中每个粒子又作为一个子群独立进化。通过在整体种群中使用标准粒子群算法并且在子群中混入融合反向学习机制的综合学习粒子群算法,可以有效减少算法进行参数寻优的时间。此外,针对最小二乘支持向量机在处理多分类问题上需要构造多个相互独立的二值分类器特性,结合改进的并行化混合粒子群算法,将网络入侵检测模型整体进行了并行化改进,在检测效率和准确度方面都有所提高,同时在网络入侵检测的实时性方面也有所改进。本文实验部分基于KDDCUP99数据集进行研究,首先通过人工筛选明显无意义的特征维度,再通过PCA主元成分分析计算各个剩余特征维度的贡献率,通过筛选累计贡献率大于98%的特征进行主成分提取,从而达到特征选择目的。模型的并行化实验验证主要借助于Spark分布式计算框架来实现,通过相关实验比较证明本文提出的模型具有较好的效果。
【学位授予单位】：上海师范大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP393.08;TP18
【图文】：
Anderson 在一份报告中首次提出了网络入侵的相关概念[3]，出所谓网络入侵就是指连接在网络中的某一台主机遭到同处于该士的越权访问，并且对主机上的文件进行篡改以导致主机无法网络入侵行为的出现严重威胁着计算机网络的信息安全，在这的相关概念诞生了，即通过收集相关特征信息来识别网络入侵全目的的一种技术。近年来随着互联网的蓬勃发展、网络安全侵检测技术也有了巨大的突破。入侵检测技术需要借助额外的现，通过部署在区域网络中的采集装置来对原始网络信息进行是网络中主机的系统日志，也可以是网络设备中进行数据包传。通过对这些原始数据的分析、处理可以及时发现一些潜在的络的平稳安全运行。测基本步骤，网络入侵检测主要分为四个步骤，即原始网络数据采集、数策响应，它们之间的关系可以参照图 2-1 所示。
的表现形式： ( ) = ∑ ( , ) + (2-6)根据 Mercer 条件，其中 ( , ) = j( ) × j( )为核函数。2.3 数据处理平台介绍Hadoop是Apache基金会旗下的一款开源分布式计算框架，主要用于方便用户进行分布式计算。Hadoop 框架的出现可以让用户在并不了解分布式计算技术中集群计算机之前底层通信交互原理的情况下依然可以开发出分布式程序，降低了分布式程序开发的门槛。目前，Hadoop 技术主要应用在数据离线分析、海量日志文件的底层分布式存储以及一些面向业务的分布式程序开发等。对于 Hadoop 自身来讲，其核心组件主要由MapReduce 编程模型以及 HDFS 分布式文件系统所组成，但还有其他一些同样重要的组件如 Hadoop YARN 系统资源协调器、分布式键值对数据库 HBase 以及可以用作数据仓库的 Hive 等，这些组件一并构成了 Hadoop 的生态体系，体系内具体所包含的组件、模块可以参照图 2-2 所示。
图 2-3 YARN各组件之间的关系ResourceManager 是基于运行在集群中分布式应用对资源的需求来进行调度的，它本身也是一个调度器，不过不会去监视运行中的应用程序。不同的应用程序所调用的系统资源不同，因此也就需要不同的容器来承载。ResourceManager 可以进行管理和调度的系统资源主要包括 CPU、内存、硬盘和网络等。Hadoop 集群中的每一个节点上都会运行一个 NodeManager 进程，主要负责保障当前节点上程序的正常运行，相当于该节点计算机的一个代理，并会对该计算机系统资源进行管理和监控。集群中每个节点中的 NodeManager 会监控当前节点上资源的使用情况以及容器（Container）的运行状态，然后会定期向集群中的 ResourceManager进行汇报。容器是 YARN 体系中系统资源的抽象，它在所运行的节点上封装了一定量的系统资源（包括CPU、内存等）。YARN容器是有AppMaster向ResourceManager申请的，由 ResourceManager 中的资源分配器异步调度给 AppMaster。YARN 容器就是分布式应用程序的基本载体，它的运行是由 AppMaster 向应用所在的 NodeManager 发起的，容器在运行时必须包含内部可执行的命令（如 jar 包等）。
本文编号：2791679
【学位授予单位】：上海师范大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP393.08;TP18
【图文】：
Anderson 在一份报告中首次提出了网络入侵的相关概念[3]，出所谓网络入侵就是指连接在网络中的某一台主机遭到同处于该士的越权访问，并且对主机上的文件进行篡改以导致主机无法网络入侵行为的出现严重威胁着计算机网络的信息安全，在这的相关概念诞生了，即通过收集相关特征信息来识别网络入侵全目的的一种技术。近年来随着互联网的蓬勃发展、网络安全侵检测技术也有了巨大的突破。入侵检测技术需要借助额外的现，通过部署在区域网络中的采集装置来对原始网络信息进行是网络中主机的系统日志，也可以是网络设备中进行数据包传。通过对这些原始数据的分析、处理可以及时发现一些潜在的络的平稳安全运行。测基本步骤，网络入侵检测主要分为四个步骤，即原始网络数据采集、数策响应，它们之间的关系可以参照图 2-1 所示。
的表现形式： ( ) = ∑ ( , ) + (2-6)根据 Mercer 条件，其中 ( , ) = j( ) × j( )为核函数。2.3 数据处理平台介绍Hadoop是Apache基金会旗下的一款开源分布式计算框架，主要用于方便用户进行分布式计算。Hadoop 框架的出现可以让用户在并不了解分布式计算技术中集群计算机之前底层通信交互原理的情况下依然可以开发出分布式程序，降低了分布式程序开发的门槛。目前，Hadoop 技术主要应用在数据离线分析、海量日志文件的底层分布式存储以及一些面向业务的分布式程序开发等。对于 Hadoop 自身来讲，其核心组件主要由MapReduce 编程模型以及 HDFS 分布式文件系统所组成，但还有其他一些同样重要的组件如 Hadoop YARN 系统资源协调器、分布式键值对数据库 HBase 以及可以用作数据仓库的 Hive 等，这些组件一并构成了 Hadoop 的生态体系，体系内具体所包含的组件、模块可以参照图 2-2 所示。
图 2-3 YARN各组件之间的关系ResourceManager 是基于运行在集群中分布式应用对资源的需求来进行调度的，它本身也是一个调度器，不过不会去监视运行中的应用程序。不同的应用程序所调用的系统资源不同，因此也就需要不同的容器来承载。ResourceManager 可以进行管理和调度的系统资源主要包括 CPU、内存、硬盘和网络等。Hadoop 集群中的每一个节点上都会运行一个 NodeManager 进程，主要负责保障当前节点上程序的正常运行，相当于该节点计算机的一个代理，并会对该计算机系统资源进行管理和监控。集群中每个节点中的 NodeManager 会监控当前节点上资源的使用情况以及容器（Container）的运行状态，然后会定期向集群中的 ResourceManager进行汇报。容器是 YARN 体系中系统资源的抽象，它在所运行的节点上封装了一定量的系统资源（包括CPU、内存等）。YARN容器是有AppMaster向ResourceManager申请的，由 ResourceManager 中的资源分配器异步调度给 AppMaster。YARN 容器就是分布式应用程序的基本载体，它的运行是由 AppMaster 向应用所在的 NodeManager 发起的，容器在运行时必须包含内部可执行的命令（如 jar 包等）。
【参考文献】
相关期刊论文 前1条
1 党小超;郝占军;;基于改进Elman神经网络的网络流量预测[J];计算机应用;2010年10期
本文编号：2791679
本文链接：https://www.wllwen.com/guanlilunwen/ydhl/2791679.html
