基于日志的软件系统行为异常检测

发布时间：2020-03-28 02:04

【摘要】：随着近年互联网浪潮的迅猛发展,以互联网为代表的信息技术更加深入地影响着人们日常生活的方方面面,社会生活对现代软件系统的依赖程度日益加深。维护现代软件系统的稳定运行,有效检测和诊断系统异常有着十分显著的现实意义。一直以来,日志在计算机系统的维护与问题诊断中发挥着重要的作用。如今软件系统的规模、复杂程度与业务量都远超以往,且仍在快速增长,软件系统产生海量的日志,系统的开发人员可能仅仅熟悉其开发工作所涉及的部分相关模块的逻辑,这使得以往通过人工检查日志来发现系统异常的方式变得不再可行。现代软件系统需要自动的异常检测工具。目前针对系统行为异常的自动检测方法面临着一些问题,例如检测准确率不高、结果可解释性差、不能很好地处理并发场景等。本文通过研究和分析软件系统事件日志的特征,结合机器学习技术,提出了一种无监督的软件行为异常检测方法,该方法将事件序列表示成向量,根据重建的误差来区分异常。本文提出的另一种软件行为异常检测方法基于随机过程模型。该方法依据日志数据对生成日志的软件运行过程建模,根据测试日志在模型下产生概率的大小来区分异常。本文还提出了一种基于过程挖掘思想的软件行为异常检测方法。该方法结合过程挖掘思想,定义了适用于描述软件系统过程模型的建模语言,提出了通过日志数据挖掘软件系统过程模型的算法,过程模型被进一步用于检测软件系统行为异常。本文对以上方法进行了实验,结果表明方法对软件系统行为异常有较强的检测能力,其中基于过程挖掘思想的异常检测算法产生的过程模型十分直观,可以对系统开发人员或维护人员诊断问题提供有益的帮助。最后,本文提出了一个软件行为异常检测系统的设计框架并介绍了实现。此系统采用插件的形式支持不同的日志解析算法和异常检测算法,能够方便地集成到现有的监控基础设施中。
【图文】：

第二章 相关技术介绍主要是对本研究所涉及的一些基础知识与技术的介绍，包括人工神经型、过程挖掘等内容。本章还介绍了在实验中使用的数据集和实验工神经网络神经网络（Artificial Neural Network，ANN）是受生物神经网络的启算模型。自提出至今，人工神经网络得到了长足的发展，在许多研究视觉和语音识别领域，取得了令人瞩目的成绩。神经元（Neuron）是人工神经网络引入的重要概念，许多神经元相互。神经元的经典结构如图 2 1 所示。

的软件系统行为异常检测 上海交通大学硕) 式中 是连接的权重，，可以看做连接上前一个神经元对当前神经元偏置量。输入向量按权值求和并偏置之后，经由激活函数 计算得的选取对神经网络有很大的影响，常用的激活函数有 函数函数等。( ) =11+ ( ) = + ( ) = max(0 )的前馈神经网络（Feedforward Neural Network）一般由多层神经元组能划分为输入层、隐藏层和输出层。神经网络处理的数据是向量，输经元数分别与输入、输出向量的维度相同。隐藏层位于输入层与输层或多层。隐藏层的神经元数目不是固定的，数量越多则神经网络的 2 2 给出了一个典型人工神经网络结构的图示。
【学位授予单位】：上海交通大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP311.53

【相似文献】

相关期刊论文 前10条

1 李朗;毕卫云;宋爱侠;王海娟;王茹;蒲珊珊;杨桂涛;;情景模拟软件系统在住院医师培训中的效果评估[J];中国卫生质量管理;2017年05期

2 吕建;王千祥;马晓星;毛新军;;自适应软件系统:开发方法和运行支撑专题前言[J];软件学报;2015年04期

3 ;新书[J];东方企业家;2016年11期

4 毛绪强;;企业也需软实力[J];农产品市场周刊;2017年24期

5 王雁苓;吕学实;;基于网络检索的语料库软件系统评述[J];情报科学;2014年11期

6 李朝;;考务软件系统的研究与应用[J];科技资讯;2013年12期

7 张涵诚;;CRM软件系统如何分类[J];网络与信息;2011年02期

8 贾西兰;郭建峰;冯瑞琴;;图书馆软件系统的开放性分析[J];情报探索;2010年11期

9 温礼;;适用于纺织厂的ERP软件系统[J];棉纺织技术;2008年04期

10 孟昭林,王红艳,陆雅萍,钟涛,高平,侯丽影;CINRAD/SA Build 10新一代天气雷达软件系统的开发研制[J];气象科技;2005年05期

相关会议论文 前10条

1 殷维刚;沈云秋;衣彬;赵曦晶;;浅谈军用软件系统的后期维护与保障[A];中国电子学会可靠性分会第十四届学术年会论文选[C];2008年

2 刘彬;马丽敏;刘文华;;工程制图电子习题集软件系统的研制[A];第十四届全国图学教育研讨会暨第六届制图CAI课件演示交流会论文集（下册）[C];2004年

3 王晓梅;;谈报刊零售软件系统的开发[A];内蒙古通信学会2005年年会论文集[C];2005年

4 邱淑敏;张春华;陈佩杰;;健康人群运动处方软件系统的研制[A];全民健身科学大会论文摘要集[C];2009年

5 胡晨燕;李光明;徐斌;施介宽;;大气环境影响评价点源预测模型软件系统的开发[A];'2005数字江苏论坛电子政务与地理信息技术论文专辑[C];2005年

6 张俊沧;;BASIC自学软件系统的设计[A];全国计算机辅助教育学会第三届学术年会论文（摘要）[C];1988年

7 黄文;;高温气冷堆模拟软件系统的研究[A];第十二届反应堆数值计算与粒子输运学术会议论文集[C];2008年

8 张亮;吴垠;同斌;;三峡入库洪水预报会商软件系统的建设与应用[A];重庆市水利学会“合理配置和高效利用水资源 服务城乡发展”专题研讨会论文汇编[C];2013年

9 于励鹏;王坚宾;;加强职工工资软件系统的核算功能[A];第十三届全国煤矿自动化学术年会、中国煤炭学会自动化专业委员会学术会议论文集[C];2003年

10 梁宇钒;王景中;;视频编码软件系统的稳定性设计方法[A];2007通信理论与技术新发展——第十二届全国青年通信学术会议论文集（上册）[C];2007年

相关重要报纸文章 前10条

1 柳清 柳震;我国首个面向商业航天领域大型星座测运控软件系统通过验收[N];中国航天报;2019年

2 陈根;苹果iPhone带来的七点启示[N];人民邮电;2017年

3 杜文;海致微办公软件系统为中小企业发展提供新动力[N];中国消费者报;2015年

4 李乐;明年补贴软件系统将在全国正式投入使用[N];中国农机化导报;2009年

5 通讯员 范照明;山地勘探的“科技尖兵”[N];中国石油报;2009年

6 记者 冷春放　胡小平;山地地震软件系统研发成功[N];中国石油报;2009年

7 易必特顾问 徐国祥;迈向CRM成功之路[N];人民邮电;2001年

8 彭昀;确保软件系统准时上线运行[N];毕节日报;2008年

9 张文宝;我多媒体公告软件系统研发获新突破[N];科技日报;2007年

10 胡良文;信息化方法论及纠风软件系统[N];光明日报;2006年

相关博士学位论文 前10条

1 沈杰;数字化谱仪软件系统的研制和应用[D];华东师范大学;2006年

2 李桓;基于复杂网络的软件结构复杂性分析与建模[D];武汉大学;2009年

3 陈思远;数字娱乐软件系统及关键技术研究[D];南开大学;2009年

4 陈学勤;基于Web服务的虚拟采办若干关键技术研究[D];南京理工大学;2009年

5 陈碧欢;基于需求和体系结构的软件系统自适应方法[D];复旦大学;2014年

6 胡翠云;基于组织的面向Agent程序设计理论及语言[D];国防科学技术大学;2013年

7 雷旭友;多源多孔对联合反演方法及其在电磁波层析成像中的应用[D];成都理工大学;2010年

8 刘业峰;钕铁硼磁性材料智能生产计划系统研究[D];东北大学;2015年

9 张浩华;复杂网络视域下的大规模软件静态结构度量及进化分析[D];东北大学;2013年

10 郭毅;基于政策的自组织软件系统及其构造和运行技术研究[D];国防科学技术大学;2013年

相关硕士学位论文 前10条

1 黄智雯;无人船水质参数采集与分析软件系统的设计与开发[D];海南大学;2019年

2 李键;基于日志的软件系统行为异常检测[D];上海交通大学;2018年

3 孙廨尧;基于安卓的IC卡证件识别移动终端软件系统[D];安徽工业大学;2018年

4 刘昊鹏;精细宽幅三维光学测量仪的软件系统研究[D];哈尔滨工业大学;2017年

5 胡磊;大型薄壁件镜像加工装备软件系统研究与开发[D];大连理工大学;2018年

6 谭晓丽;混合通信网络的组网技术及实现[D];西安电子科技大学;2018年

7 宋鹏飞;护照查验及管理软件系统设计与实现[D];华中科技大学;2018年

8 宗立波;高低温寿命试验台软件系统的设计与开发[D];湖南大学;2017年

9 陈仕隆;全自动白带分析仪软件系统的设计与实现[D];电子科技大学;2018年

10 庾能国;白光干涉原子力显微镜若干关键技术及软件系统研究[D];华中科技大学;2016年

本文编号：2603752