基于改进马尔科夫的日志分析系统的设计与实现

发布时间：2020-09-07 11:54

　　 入侵检测是网络安全的重要组成部分,随着社会的进步以及科技的大力发展,越来越多的人享受到了网络世界所带来的便利,与此同时,各式各样的网络安全问题也随之而来,带来了很多不必要的麻烦,异常检测是入侵检测的一种常见方法,而本文研究对象用户行为日志包含大量有用的信息,具有重要的分析价值,而监测异常行为在网络安全的维护中也是至关重要的一步。本系统研发源于本人所在实验室正在进行的用户行为取证系统项目建设,因为系统收集到大量用户行为后,缺少统一的用户行为日志分析模块,因此,基于此需求,并且同时本人发现同样的需求场景并不局限于小范围实验室内的用户行为分析,所以将此系统的开发定位于通用性序列化数据的统计分析,可以推广应用到互联网、院校、公司、企业等多种应用场合。日志是记录用户操作流的文件,可以用于验证设计、发现问题和挖掘用户需求。本文主要做了以下工作:(1)提出了改进的马尔科夫方法用于用户行为分析首先需要通过用户行为采集系统收集到原始的用户行为信息,利用改进的马尔科夫方法对原始用户行为数据进行预处理,得到初始概率矩阵以及最终状态转移矩阵数据集,再通过无监督学习方法多聚类融合使数据集获得标签,然后就可以训练SVM分类器,最终将异常行为转移找出来,通过检测最终确定恶意用户。(2)设计并实现了日志采集分析系统系统主要由数据采集模块和数据分析模块两大模块组成。首先通过采集系统采集到上网记录、最近访问项目、用户痕迹和网络数据包日志信息之后,存储到数据库中,得到初始的数据集信息,再通过分析系统利用改进的马尔科夫方法对行为日志数据进行处理并分析。其中,数据采集模块的主要功能包括多身份用户登录、数据采集和数据采集管理等,数据分析模块包括恶意用户监控和用户异常行为检测等任务。
【学位单位】：山东师范大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TP393.08
【部分图文】：

异常行为检测流程图

图2-2日志序列截取举例在本文中我们只取p中的数值进行研究

netty架构图

【相似文献】

相关期刊论文 前10条

1 Shan-shan PAN;Wei-qiu ZHU;Rong-chun HU;Rong-hua HUAN;;随机激励下连续时间马尔科夫跳变非线性系统的平稳响应研究（英文）[J];Journal of Zhejiang University-Science A(Applied Physics & Engineering);2017年02期

2 黄麒元;王致杰;王东伟;杜彬;;马尔科夫理论及其在预测中的应用综述[J];技术与市场;2015年09期

3 翟波;;基于灰色-马尔科夫理论的煤矿瓦斯浓度预测[J];城市地理;2017年10期

4 王双成;刘喜华;唐海燕;;基于依赖分析的马尔科夫网络分类器学习与优化[J];模式识别与人工智能;2006年04期

5 高山珍,王永亮;7维广义马尔科夫方程的几个性质[J];石家庄铁道学院学报;2003年02期

6 高山珍,高静伟;广义马尔科夫方程解的存在性[J];河北职业技术师范学院学报;2003年03期

7 曹昌祺;原子自发辐射的非马尔科夫理论[J];量子光学学报;2002年S1期

8 吴卢荣,林运国;学生成绩预测的时齐马尔科夫法[J];聊城师院学报(自然科学版);2002年02期

9 李锦江,万新敏,刘德权;线性模型的最小二乘估计与马尔科夫估计[J];空军雷达学院学报;2000年04期

10 高山珍,李俊红,解建军;7维广义马尔科夫方程的解[J];贵州教育学院学报(自然科学);2000年02期

相关会议论文 前10条

1 周玲;张闻钊;李逊;;非马尔科夫环境下光力系统的纠缠与制冷[A];第十七届全国量子光学学术会议报告摘要集[C];2016年

2 倪中新;邱华;;基于马尔科夫机制转换模型的期现对冲研究[A];第十届（2015）中国管理学年会论文集[C];2015年

3 曹昌祺;;原子自发辐射的非马尔科夫理论[A];第十届全国量子光学学术报告会论文论文集[C];2002年

4 雷延军;李向阳;;基于两级双渠道供应链的马尔科夫库存优化模型研究[A];第九届中国管理科学学术年会论文集[C];2007年

5 田德源;陆治钊;;新马尔科夫法[A];第8届全国核电子学与核探测技术学术年会论文集（二）[C];1996年

6 李立阳;刘海天;付建苏;王会龙;张民强;;基于马尔科夫随机场的图像去噪[A];第六届中国指挥控制大会论文集（上册）[C];2018年

7 吕骥;曲泽星;高加力;;利用分子动力学和马尔科夫态模型研究真菌光感受器vivid的光致二聚化过程[A];中国化学会第30届学术年会摘要集-第十九分会：化学中的量子与经典动力学[C];2016年

8 陈其安;廖小红;王丹;陈抒妤;;中国大陆货币政策对香港股票市场的溢出效应:基于马尔科夫转换模型的实证研究[A];第十九届中国管理科学学术年会论文集[C];2017年

9 王纺翔;陈巍;李亚平;何德勇;王超;韩云光;王双;银振强;韩正甫;;单光子探测器后脉冲效应的费马尔科夫性质（英文）[A];第十七届全国量子光学学术会议报告摘要集[C];2016年

10 梁加驰;沈竞;;基于R语言的MCMC方法研究[A];第十届中国不确定系统年会、第十四届中国青年信息与管理学者大会论文集[C];2012年

相关重要报纸文章 前10条

1 记者 吴长锋;时而马尔科夫 时而非马尔科夫[N];科技日报;2011年

2 记者 张力;张德江会见俄罗斯联邦总统助理马尔科夫[N];中国人事报;2009年

3 记者 吕华;董军会见俄罗斯圣彼得堡市副市长马尔科夫[N];西安日报;2015年

4 谢思佳　符信;探讨深化合作模式[N];广州日报;2012年

5 本报记者 范昕;机器人无法胜任创造性工作[N];文汇报;2016年

6 记者 吴温;第四届中国(石家庄)皮博会开幕[N];石家庄日报;2012年

7 本报驻俄罗斯记者　　马剑;“漂在石油上”的城市[N];人民日报;2006年

8 王蔚 肖丹 陶健;“中俄旅游年”上海全力开拓沪俄旅游市场[N];中国旅游报;2012年

9 蒋涌;文化的半径有多大?[N];自贡日报;2012年

10 本报驻俄罗斯特派记者 殷新宇 本报特约记者 柳玉鹏;莫斯科拘留逾千名非法集会者[N];环球时报;2019年

相关博士学位论文 前10条

1 田家明;非方奇异马尔科夫跳变系统的性能分析和观测器设计[D];山东大学;2019年

2 王军义;具有时变时滞的马尔科夫复杂神经网络的同步问题研究[D];东北大学;2016年

3 王继民;非线性广义半马尔科夫跳变系统的分析与综合[D];山东大学;2018年

4 李繁飙;半马尔科夫跳变系统的分析和综合[D];哈尔滨工业大学;2015年

5 龙少华;奇异时滞马尔科夫系统的容许性问题研究[D];电子科技大学;2013年

6 陶杰;马尔科夫跳变系统的耗散性分析与综合[D];浙江大学;2018年

7 张兴远;非马尔科夫演化及对量子热机性能的影响[D];大连理工大学;2016年

8 肖兴;开放量子系统的非马尔科夫动力学和弱测量反馈控制[D];湖南师范大学;2012年

9 杜元花;几类随机微分方程的稳定性分析[D];电子科技大学;2016年

10 范子龙;高维开放量子系统的非马尔科夫动力学研究[D];湖南师范大学;2016年

相关硕士学位论文 前10条

1 罗邦;一类中立型马尔科夫跳跃系统的稳定性研究[D];贵州民族大学;2019年

2 宋天霞;基于改进马尔科夫的日志分析系统的设计与实现[D];山东师范大学;2019年

3 付晓阅;广义马尔科夫跳变系统的正解及稳定性研究[D];东北大学;2015年

4 王明晗;马尔科夫体制转换模型下达到遗赠目标的最优投资与再保险[D];安徽师范大学;2018年

5 胡程科;马尔科夫岩性预测及基于信息熵的观测点位置和数量优化[D];清华大学;2017年

6 吴佩;基于混合马尔科夫树模型的ICS异常检测方法研究[D];合肥工业大学;2018年

7 蔡蕊;一类带马尔科夫切换的非线性时滞利率模型及其数值方法的收敛性[D];东华大学;2012年

8 于娜;风险敏感性马尔科夫控制过程的最优解[D];武汉大学;2018年

9 孙锡林;基于马尔科夫逻辑网的公安盗窃犯罪案件推理研究[D];华中科技大学;2018年

10 郭一木;基于张量链的并行和增量系统实现与应用[D];华中科技大学;2017年

本文编号：2813305