基于关联感知的无监督深度异常检测模型研究
发布时间:2021-06-05 09:47
异常检测已经被广泛应用于网络安全、模式识别、数据挖掘等应用领域。异常检测旨在发现正常模式中的异常模式。无监督异常检测方法通过对样本的概率分布估计来发现异常数据,是当今异常检测主要采用的方法之一。已有的无监督异常检测方法通常只对数据的原始特征进行分析,忽略了数据间隐含的关联性信息,导致异常检测效果不甚理想。本文针对此问题提出了基于关联感知的无监督深度异常检测模型。为了提取数据的关联性信息,本文通过图结构对数据间关联性进行建模。首先,在数据的原始特征空间中,使用k最近邻算法(k-nearest neighbor,k-NN)来对数据的相似性进行分析;然后,根据数据之间的相似性来构建无向图,以此表示数据间关联性;最后,设计数据间关联性挖掘方法,对数据之间关联性信息进行深入挖掘。为了利用数据的关联性信息,本文设计了基于关联感知自编码器的高斯混合模型(Correlation-aware autoencoders in Gaussian mixed model,CAAE-GMM),设计基于高斯混合模型的估计网络,以深入挖掘的数据间关联性信息为输入,估计数据的概率分布,并基于此进行异常检测;然后,在C...
【文章来源】:哈尔滨理工大学黑龙江省
【文章页数】:58 页
【学位级别】:硕士
【部分图文】:
图卷积神经网络Fig.2-1Graphconvolutionalneuralnetwork
哈尔滨理工大学工学硕士学位论文-9-neuralnetwork,CNN),用于抽取图数据中的局部空间信息,并将其融合构建为新的特征表示。传统的卷积神经网络必须以图数据所有可能的节点排列作为输入,然而图数据的节点之间无顺序性,即图数据经旋转、翻折操作不影响数据本身,如图2-2(a)中,数据必须从左上开始依次输入,而图2-2(b)中,以数据所有可能的节点排列作为输入。因此,图数据会导致卷积神经网络训练困难。为解决此问题,图卷积神经网络采用在节点上进行信息传播,从而使模型输出不随节点的输入顺序而发生变化。除此之外,图数据中的边也可表示两个节点之间的依赖关系,可以利用节点周围的状态来对节点的状态进行更新,从而利用数据之间的关联性进行推理学习,使模型具有与人类相似的推理能力。而在传统的神经网络中,这种依赖关系只能通过节点的特征表示来体现,只能通过大量的经验数据学习信息。因此,图卷积神经网络在处理数据关联性信息上,具有传统方法无法比拟的优势。(a)传统数据(b)图数据(a)Traditionaldata(b)Graphdata图2-2传统数据与图数据区别FIG.2-2Differencesbetweentraditionaldataandgraphdata图卷积神经网络的主要目标是训练一个函数,此函数的输入包含了节点与节点之间的信息,如图2-3所示。具体工作原理如下:在图数据中,节点是由节点特征与邻居节点共同表示的。图卷积神经网络通过训练,得到节点高质量的低维表示。其中图卷积神经网络层与层之间的传播方式如公式2-1。)~~~(2121ll1lWHDADH(2-1)其中,D~表示A~度矩阵,LAD~~,L表示Laplacian矩阵;IAA~,A表示邻接矩阵;H表示每一层的输出,当为输入层时,H为输入数据;W表示每层
哈尔滨理工大学工学硕士学位论文-10-的权重;表示非线性激活函数。图卷积神经网络通过多层的迭代,最终得到节点的高质量表示。图2-3图卷积神经网络训练过程Fig.2-3ThetrainingprocessofGraphconvolutionalneuralnetwork由以上分析可以看出,图神经网络可利用图结构挖掘数据间的关联性信息,符合本文核心研究内容的需要。因此,本文将对数据进行图结构建模,并选择图卷积神经网络作为挖掘数据关联性信息的基本方法。2.3自编码器自编码器作为生成模型的一种,早在1986年被Hinton等人提出,是一种能够通过无监督方式学习到数据的高质量低维表示的人工神经网络。在自编码器中,将输入数据降维并生成高质量的低维表示的过程称为编码过程。另外,自编码器作为一种强大的特征检测器,能够应用于深度学习的预训练中,从而提高模型的学习性能。作为生成模型的一种,自编码器可以随机生成与输入数据相似的数据,从而实现对数据的建模。图2-4自编码器框架Fig.2-4FrameofAutoEncoders自编码器通常学习输入数据,并将输入数据简单地重构到输出中。如图2-4所示。其中,X表示输入数据,X"表示自编码器输出数据,f表示编码函数,g
【参考文献】:
期刊论文
[1]深度学习目标检测方法综述[J]. 赵永强,饶元,董世鹏,张君毅. 中国图象图形学报. 2020(04)
[2]基于图神经网络的动态网络异常检测算法[J]. 郭嘉琰,李荣华,张岩,王国仁. 软件学报. 2020(03)
[3]深度自编码器在数据异常检测中的应用研究[J]. 张常华,周雄图,张永爱,姚剑敏,郭太良,严群. 计算机工程与应用. 2020(17)
[4]基于邻域保持嵌入-主成分分析的高压电缆状态数据异常检测及分析[J]. 刘敏,方义治,孙廷玺,罗思琴,王升,周念成,兰雪珂. 科学技术与工程. 2019(27)
[5]基于无监督学习的图像风格迁移方法[J]. 简丽琼,高翔. 信息与电脑(理论版). 2019(17)
[6]融合时空兴趣点和多元广义高斯混合模型的人体动作识别[J]. 何冰倩,魏维,宋岩贝,高联欣,张斌. 成都信息工程大学学报. 2019(04)
[7]基于自编码器的分组光网络监测数据分析与优化方法研究[J]. 赵星,吕博. 信息通信技术与政策. 2019(07)
[8]基于深度信念网络的高维传感器数据异常检测算法[J]. 金鹏,夏晓峰,乔焰,崔信红. 传感技术学报. 2019(06)
[9]基于深度学习的网络入侵检测研究综述[J]. 张勇东,陈思洋,彭雨荷,杨坚. 广州大学学报(自然科学版). 2019(03)
[10]基于自适应人工鱼群FCM的异常检测算法[J]. 席亮,王勇,张凤斌. 计算机研究与发展. 2019(05)
本文编号:3211933
【文章来源】:哈尔滨理工大学黑龙江省
【文章页数】:58 页
【学位级别】:硕士
【部分图文】:
图卷积神经网络Fig.2-1Graphconvolutionalneuralnetwork
哈尔滨理工大学工学硕士学位论文-9-neuralnetwork,CNN),用于抽取图数据中的局部空间信息,并将其融合构建为新的特征表示。传统的卷积神经网络必须以图数据所有可能的节点排列作为输入,然而图数据的节点之间无顺序性,即图数据经旋转、翻折操作不影响数据本身,如图2-2(a)中,数据必须从左上开始依次输入,而图2-2(b)中,以数据所有可能的节点排列作为输入。因此,图数据会导致卷积神经网络训练困难。为解决此问题,图卷积神经网络采用在节点上进行信息传播,从而使模型输出不随节点的输入顺序而发生变化。除此之外,图数据中的边也可表示两个节点之间的依赖关系,可以利用节点周围的状态来对节点的状态进行更新,从而利用数据之间的关联性进行推理学习,使模型具有与人类相似的推理能力。而在传统的神经网络中,这种依赖关系只能通过节点的特征表示来体现,只能通过大量的经验数据学习信息。因此,图卷积神经网络在处理数据关联性信息上,具有传统方法无法比拟的优势。(a)传统数据(b)图数据(a)Traditionaldata(b)Graphdata图2-2传统数据与图数据区别FIG.2-2Differencesbetweentraditionaldataandgraphdata图卷积神经网络的主要目标是训练一个函数,此函数的输入包含了节点与节点之间的信息,如图2-3所示。具体工作原理如下:在图数据中,节点是由节点特征与邻居节点共同表示的。图卷积神经网络通过训练,得到节点高质量的低维表示。其中图卷积神经网络层与层之间的传播方式如公式2-1。)~~~(2121ll1lWHDADH(2-1)其中,D~表示A~度矩阵,LAD~~,L表示Laplacian矩阵;IAA~,A表示邻接矩阵;H表示每一层的输出,当为输入层时,H为输入数据;W表示每层
哈尔滨理工大学工学硕士学位论文-10-的权重;表示非线性激活函数。图卷积神经网络通过多层的迭代,最终得到节点的高质量表示。图2-3图卷积神经网络训练过程Fig.2-3ThetrainingprocessofGraphconvolutionalneuralnetwork由以上分析可以看出,图神经网络可利用图结构挖掘数据间的关联性信息,符合本文核心研究内容的需要。因此,本文将对数据进行图结构建模,并选择图卷积神经网络作为挖掘数据关联性信息的基本方法。2.3自编码器自编码器作为生成模型的一种,早在1986年被Hinton等人提出,是一种能够通过无监督方式学习到数据的高质量低维表示的人工神经网络。在自编码器中,将输入数据降维并生成高质量的低维表示的过程称为编码过程。另外,自编码器作为一种强大的特征检测器,能够应用于深度学习的预训练中,从而提高模型的学习性能。作为生成模型的一种,自编码器可以随机生成与输入数据相似的数据,从而实现对数据的建模。图2-4自编码器框架Fig.2-4FrameofAutoEncoders自编码器通常学习输入数据,并将输入数据简单地重构到输出中。如图2-4所示。其中,X表示输入数据,X"表示自编码器输出数据,f表示编码函数,g
【参考文献】:
期刊论文
[1]深度学习目标检测方法综述[J]. 赵永强,饶元,董世鹏,张君毅. 中国图象图形学报. 2020(04)
[2]基于图神经网络的动态网络异常检测算法[J]. 郭嘉琰,李荣华,张岩,王国仁. 软件学报. 2020(03)
[3]深度自编码器在数据异常检测中的应用研究[J]. 张常华,周雄图,张永爱,姚剑敏,郭太良,严群. 计算机工程与应用. 2020(17)
[4]基于邻域保持嵌入-主成分分析的高压电缆状态数据异常检测及分析[J]. 刘敏,方义治,孙廷玺,罗思琴,王升,周念成,兰雪珂. 科学技术与工程. 2019(27)
[5]基于无监督学习的图像风格迁移方法[J]. 简丽琼,高翔. 信息与电脑(理论版). 2019(17)
[6]融合时空兴趣点和多元广义高斯混合模型的人体动作识别[J]. 何冰倩,魏维,宋岩贝,高联欣,张斌. 成都信息工程大学学报. 2019(04)
[7]基于自编码器的分组光网络监测数据分析与优化方法研究[J]. 赵星,吕博. 信息通信技术与政策. 2019(07)
[8]基于深度信念网络的高维传感器数据异常检测算法[J]. 金鹏,夏晓峰,乔焰,崔信红. 传感技术学报. 2019(06)
[9]基于深度学习的网络入侵检测研究综述[J]. 张勇东,陈思洋,彭雨荷,杨坚. 广州大学学报(自然科学版). 2019(03)
[10]基于自适应人工鱼群FCM的异常检测算法[J]. 席亮,王勇,张凤斌. 计算机研究与发展. 2019(05)
本文编号:3211933
本文链接:https://www.wllwen.com/kejilunwen/shengwushengchang/3211933.html
最近更新
教材专著