一种基于文法压缩的日志异常检测算法

发布时间：2017-10-07 02:05

  本文关键词：一种基于文法压缩的日志异常检测算法

  更多相关文章： 异常检测 文法压缩 日志挖掘 相对熵

【摘要】：近年来日志挖掘是一种广泛使用的检测应用状态异常的方法.现有的异常检测算法需要大量计算,或者它们的有效性依赖于测试日志满足一些预先定义的日志事件概率分布.因此,它们无法用于在线检测并且在假设不成立时会失效.为了解决这些问题,该文提出了一种新的异常检测算法CADM.CADM使用正常日志和待检测日志之间的相对熵作为异常程度的标识.为了计算相对熵,CADM充分利用了相对熵和文法压缩编码大小之间的关系而不是预先定义日志事件概率分布的族.通过这种方式,CADM避免了对日志分布的预先假设.除此之外,CADM的计算复杂度为O(n),因此在日志较大的情况下有较好的扩展性.通过在仿真的日志和公开日志集上的评测结果可以看出,CADM不仅可以应用在更广泛的程序日志上,也有更高的检测精度,因此更适合在线日志挖掘异常检测的工作.
【作者单位】： 中国科学院信息工程研究所信息内容安全技术国家工程实验室;中国科学院大学计算机与控制学院;
【关键词】： 异常检测 文法压缩 日志挖掘 相对熵
【基金】：国家自然科学基金(61070028) 国家“八六三”高技术研究发展计划项目基金(2012AA01A401) 先导专项(XDA06030200)资助~~
【分类号】：TP393.08
【正文快照】： 1引言随着互联网的不断发展,各类网络应用在生产生活中发挥着越来越重要的作用.但与此同时,针对网络应用的攻击不断涌现,如各类病毒、蠕虫等①.另一方面,随着网络应用规模的不断增大以及为节省成本使用廉价机器部署服务的趋势的发展,程序的执行路径难以预测,并且硬件环境不再

【共引文献】

中国期刊全文数据库 前5条

1 张乐君;国林;张健沛;杨静;夏磊;;测度属性关系分析的分布式系统异常检测[J];北京邮电大学学报;2013年06期

2 高恩阳;刘伟军;王天然;;一种基于线性规划的孤立点检测方法[J];控制工程;2013年06期

3 夏敏纳;龚德良;肖娟;;一种面向可靠云计算的自适应故障检测方法[J];计算机应用研究;2014年02期

4 胡云;王崇骏;谢俊元;吴骏;周作建;;社群演化的稳健迁移估计及演化离群点检测[J];软件学报;2013年11期

5 娄圣金;张继福;刘爱琴;;一种基于p权值的离群数据挖掘算法[J];小型微型计算机系统;2014年01期

中国博士学位论文全文数据库 前2条

1 贺惠新;燃机异常检测系统的关键技术研究[D];哈尔滨工业大学;2013年

2 任维武;用于分布式入侵检测系统的合作式本体模型[D];吉林大学;2013年

中国硕士学位论文全文数据库 前4条

1 孟静;异常数据挖掘算法研究与应用[D];江南大学;2013年

2 庞景月;滑动窗口模型下的数据流自适应异常检测方法研究[D];哈尔滨工业大学;2013年

3 肖托;一种改进的支持向量数据描述算法[D];哈尔滨工程大学;2013年

4 仲莉;基于隐马尔科夫模型的低碳异常检测方法研究及应用[D];华南理工大学;2013年

【相似文献】

中国期刊全文数据库 前10条

1 黄铁;张奋;;基于隐马尔可夫模型的内部威胁检测方法[J];计算机工程与设计;2010年05期

2 卿斯汉 ,蒋建春 ,马恒太 ,文伟平 ,刘雪飞;入侵检测技术研究综述[J];通信学报;2004年07期

3 于枫,马晓春,高翔;频繁情节挖掘方法在入侵检测中的应用[J];计算机应用研究;2005年07期

4 赵峰;李庆华;;基于数值序列分析的容侵异常检测算法[J];小型微型计算机系统;2006年08期

5 宋歌,闫巧,喻建平;神经网络在异常检测中的应用[J];计算机工程与应用;2002年18期

6 岳仑,杜新华,张华;特征检测与异常检测相结合的入侵检测模型[J];通信技术;2003年11期

7 吉治钢,蔡利栋;基于Fuzzy ART神经网络的Linux进程行为异常检测[J];计算机工程;2005年03期

8 李战春;李之棠;黎耀;;基于相关特征矩阵和神经网络的异常检测研究[J];计算机工程与应用;2006年07期

9 卢艳军;蔡国浩;张靖;;广域网入侵异常检测技术实现[J];中国新通信;2006年19期

10 张兆莉;蔡永泉;史晓龙;;一种用于异常检测的系统调用参数及序列分析算法[J];微计算机信息;2006年33期

中国重要会议论文全文数据库 前10条

1 邝祝芳;阳国贵;李清;;基于隐Markov模型的数据库异常检测技术[A];第二十三届中国数据库学术会议论文集（研究报告篇）[C];2006年

2 蔡丽萍;李茂青;;一种基于模糊聚类的日志挖掘方法及应用[A];第二十一届中国数据库学术会议论文集（技术报告篇）[C];2004年

3 蒲晓丰;雷武虎;黄涛;王迪;;基于稳健背景子空间的高光谱图像异常检测[A];中国光学学会2010年光学大会论文集[C];2010年

4 谭莹;王丹;;基于流量的网络行为分析模型的设计与实现[A];2010年全国通信安全学术会议论文集[C];2010年

5 刘辉;蔡利栋;;Linux进程行为的模式提取与异常检测[A];信号与信息处理技术——第一届信号与信息处理联合学术会议论文集[C];2002年

6 周莉;张勇;邢春晓;;ULMF:一种基于构件的通用日志挖掘框架[A];第二十五届中国数据库学术会议论文集（一）[C];2008年

7 乔立岩;彭喜元;彭宇;;基于支持向量机的键盘密码输入异常检测方法研究[A];2004全国测控、计量与仪器仪表学术年会论文集（上册）[C];2004年

8 董恩生;董永贵;贾惠波;;飞机交流发电机异常检测方法的研究[A];第二届全国信息获取与处理学术会议论文集[C];2004年

9 张立燕;;基于定点成分分析的高光谱图像低概率异常检测方法研究[A];中国地理学会百年庆典学术论文摘要集[C];2009年

10 许列;王明印;;基于隐马尔可夫模型(HMM)实时异常检测[A];中国通信学会第六届学术年会论文集（上）[C];2009年

中国重要报纸全文数据库 前10条

1 本报记者 边歆;异常检测是阻止蠕虫攻击的最好方法？[N];网络世界;2006年

2 Garry Sexton;入侵防护兼顾检测与防范[N];中国计算机报;2003年

3 吴作顺;IDS的普遍缺陷[N];中国计算机报;2002年

4 ;网络管理的活力元素[N];网络世界;2005年

5 ;IDS续存论对峙灭亡论[N];网络世界;2003年

6 费宗莲;安全防御的“动”感魅力[N];中国计算机报;2005年

7 中联绿盟、李群;IDS的关键：解决好误报和漏报[N];中国计算机报;2002年

8 ;怎么解决IDS的问题[N];中国计算机报;2003年

9 本报记者 边歆;泥上指爪印深痕[N];网络世界;2005年

10 ;McAfee IntruShield缔造震荡波克星[N];中国计算机报;2004年

中国博士学位论文全文数据库 前10条

1 周俊临;基于数据挖掘的分布式异常检测[D];电子科技大学;2010年

2 赵静;网络协议异常检测模型的研究与应用[D];北京交通大学;2010年

3 吴志忠;移动设备及网络的异常检测方法研究[D];中国科学技术大学;2013年

4 魏小涛;在线自适应网络异常检测系统模型与相关算法研究[D];北京交通大学;2009年

5 马丽;基于流形学习算法的高光谱图像分类和异常检测[D];华中科技大学;2010年

6 王晓锋;Web应用入侵异常检测新技术研究[D];华中科技大学;2007年

7 夏正敏;基于分形的网络流量分析及异常检测技术研究[D];上海交通大学;2012年

8 郁继锋;基于数据挖掘的Web应用入侵异常检测研究[D];华中科技大学;2011年

9 陈佐;时间序列相空间重构数据挖掘方法及其在证券市场的应用[D];湖南大学;2007年

10 郑黎明;大规模通信网络流量异常检测与优化关键技术研究[D];国防科学技术大学;2012年

中国硕士学位论文全文数据库 前10条

1 宁兴旺;基于日志挖掘的网络安全审计系统研究与实现[D];山东师范大学;2010年

2 桂辉;WEB日志挖掘在网站推荐服务中的应用研究[D];华北电力大学（北京）;2011年

3 史振华;基于Web日志挖掘的网站优化技术与应用[D];武汉理工大学;2010年

4 杨鹏;Web日志挖掘数据预处理算法研究与实现[D];北京邮电大学;2011年

5 刘宇婷;基于Web日志挖掘的个性化服务研究与应用[D];北京理工大学;2010年

6 程苗;云计算技术在web日志挖掘中的应用研究[D];中国科学技术大学;2011年

7 赵伟;基于Web日志的用户访问模式挖掘[D];天津大学;2004年

8 孙赵平;基于关联规则的web日志挖掘应用研究[D];安徽大学;2010年

9 韩莉;基于概念格的Web使用日志挖掘及其在个人化技术中的应用[D];安徽大学;2003年

10 王靓明;融合多重模糊矩阵_SOFM的Web日志挖掘研究[D];南昌大学;2010年

，

本文编号：986271