基于日志的网络故障检测算法研究

发布时间：2020-12-29 21:49

　　随着科技的不断发展,人们对通信网络的要求越来越高,而故障管理是网络管理中的重要组成部分,实现故障管理的第一步是发现网络中存在的故障。传统的网络故障检测方法严重依赖于已有的告警数据。但是利用告警数据只能在已有的知识范围内对已经掌握的故障进行分析,并且需要预先人工构造知识库。与此同时,常常被忽略的是,网络无时无刻不在生成大量的日志数据,这些日志数据蕴含了大量的信息,通常,这些日志没有被很好的利用。本文围绕网络生成的日志展开研究,利用日志来分析网络故障与否。使用日志来检测网络故障,重点分为两个部分.:日志的表示和故障检测算法。由于日志的非结构特性,需要进行日志向量化表示,表示策略将会影响后续故障检测和故障提取等分析的性能。本文针对日志的表示和网络故障检测算法进行了分析与探究,设计了一套完整的从日志样本表达到网络故障检测的算法。主要工作如下:第一,提出了一种新的方法来实现对网络当前所处状态的分析。在现有告警等结构数据的基础上,引入非结构的日志数据,将网络生成的日志当作类自然语言的文本,使用日志来判断网络故障与否。提出了一种基于仿真数据构造网络状态检测样本的方法,通过处理仿真数据从而不需要对网络... 

【文章来源】：中国科学技术大学安徽省 211工程院校 985工程院校

【文章页数】：79 页

【学位级别】：硕士

【图文】：

图２．４ＳＹＳＴＥＭ＿ＦＬＯＷ＿ＣＴＲＬ出现情况分析??

。??３．１背景介绍??在机器学习中，特征学习或表示学习是一种允许计算机系统自动地从原始数??据中提取进行特征检测或分类所需的表示的技术。通过表示，原始数据能够得到??在向量空间的数值表示，从而能够被计算机系统识别。它取代了原有的手动特征??设计，并允许计算机系统在学习特征的同时使用这些特征来完成特定的任务１２１］。??图像、语音、文本作为最常见的数据，图像可以用原始像素点强度值来表示，??比如ＲＧＢ表示法，音频可以用功率谱密度的强度值来表示编码。对于图像识别??或语音识别等任务，可以直接使用它们的强度表示来当作输入值，因为他们己经??包含了所有的原始信息。但是，相较于图像和音视频的处理，自然语言处理或者??类文本处理需要先进行编码或者特征表达（即传统的特征工程），使得文本或字符??能够被计算机系统所识别和理解，因为人类的语言或者文字本身是“不自然”的，??需要另外的设定规定才能让计算机能处理它们。图３．１音视频和文本的稀疏稠??密性对比描述了音频和视频的稠密性和文本的稀疏性。??

对于所研究的日志来说，虽然类似于自然语言，但是由于它是半结构化的，??而且是专门用于记录网络系统和节点的状态和行为，可以比照自然语言将日志表??示划分为若干个级别：单词表示、事件表示、事件集表示，如图３．２所示。三个??不同粒度的表示之间是递进关系。基于原始数据，先进行单词表示之后才能进行??事件表示，进而进行事件集的表示。??／分类聚类等分析?＾??／?＇－－一’?』＿件集表??／?斜立度表本?■示??／?｜觀??／?＼??图３．２网络日志的多粒度表示??接下来分别针对于网络日志的不同粒度进行表示方法的设计。??３．２．１日志单词表示??单词是句子的基础，对日志进行遍历，得到整个日志语料库的词典。剔除掉??停用词诸如ｗ／认之后，得到有效的词典，形式为｛单词：对应频率｝，设该词??典的大小为Ｓ。??日志单词最基本的表示方法是热独（ｏｎｅ?ｈｏｔ）表示，如图３．３所示，使用词??频作为排序依据。可以看到，每个向量的维数都是Ｓ，且只有一个位置是１。??１４??

【参考文献】：
期刊论文
[1]知识表示学习研究进展[J]. 刘知远,孙茂松,林衍凯,谢若冰.  计算机研究与发展. 2016(02)
[2]智能故障诊断技术研究综述与展望[J]. 李红卫,杨东升,孙一兰,韩娟.  计算机工程与设计. 2013(02)
[3]智能诊断技术发展综述[J]. 李云松,任艳君.  四川兵工学报. 2010(04)
[4]基于贝叶斯网络的通信网告警相关性和故障诊断模型[J]. 邓歆,孟洛明.  电子与信息学报. 2007(05)
[5]层次分析法在通信网告警相关性分析中的应用研究[J]. 肖海林,李兴明.  电信科学. 2006(11)
[6]文本的图表示初探[J]. 周昭涛,卜东波,程学旗.  中文信息学报. 2005(02)

博士论文
[1]基于知识发现的告警相关性分析关键问题研究[D]. 单莘.北京邮电大学 2006

硕士论文
[1]基于神经网络的TD-LTE网络故障诊断技术研究[D]. 唐建华.宁波大学 2014



本文编号：2946385