云环境中用户日志采集和处理算法的研究与实现

发布时间：2020-10-27 20:43

　　 随着云计算技术的不断发展,以及云平台的快捷部署,云服务已经逐步融入到人们的日常生活中,用户可以购买或者租用云服务的存储和计算资源来辅助自己的工作,不过云环境的安全问题一直阻碍着云计算的快速发展。服务商可以在硬件资源和数据传输加密方面尽可能地保障云平台的安全,但是用户行为没有得到合理的监控。由于云环境的复杂性和多样性,传统的日志分析方法很难满足云环境的安全需求,因此本文针对云环境下用户行为安全问题,构建了基于Flume的日志实时和完整性采集平台,提出了基于神经网络的日志分析算法,对用户行为的安全性做出准确分析,保障云环境的安全稳定。本文的主要研究内容和创新点如下:(1)构建了基于Flume的日志采集框架,根据云环境中用户行为日志的特点设计了自定义的采集模块,针对日志采集完整性问题提出了基于分类的队列管理算法,充分利用数据传输过程中的各种监控数据,使用分类的机制实现负载均衡,让采集平台中的缓冲队列能够及时协调采集速率和传输速率。针对日志采集实时性问题,利用拦截器对采集到的日志进行实时过滤,同时使用简易的输出格式异步地进行日志采集。该采集框架能够在保证日志采集完整性的同时,尽可能地提升采集效率。(2)云环境中,传统的日志分析算法无法将日志特征和特征之间的关联性统一起来,导致一些重要的日志信息被忽略,同时实现框架不支持分布式运算,降低了分析效率。因此提出了Detm算法,该算法使用稠密的卷积层对日志数据进行充分的特征提取,提取到抽象的高维度特征之后利用记忆网络分析不同类型日志之间关联性,最终通过全连接层融合日志数据,得到输出结果。该算法不仅考虑到了不同类型日志之间的关联性,而且使用分布式运算实现,具备较高的准确率以及可扩展性。(3)设计并且实现了基于用户日志的行为分析系统,对日志采集模块和日志分析模块进行了周密的设计,并且详细阐述了每个模块的工作流程。利用该行为分析系统对云环境下用户进行实验,实验结果表明该原型系统能够对日志进行有效的采集和备份,同时对用户行为的安全性做出判断,达到及时分析的效果,保证云环境的安全。
【学位单位】：南京邮电大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TP393.09;TP183
【部分图文】：

图 3.2 缓冲区大小实验图.2 中可以发现在三种采集场景下，缓冲区大小在 80M 左右时所需要的 个采集源采集所需要时间明显少于 2 个和 4 个采集源的场景，可见多进行采集能够提升效率，但是采集源过多之后效率提升并不明显，另冲区大小达到一定数值之后采集时间都相应地趋于平稳，可见适当的采集时间，但是日志数据量增多也不能盲目增加缓存，此时消耗系统能带来了微乎其微的提升。面，为了验证采集系统中加入队列管理算法能够保证数据采集完整性，ux系统中指定文件里文本的变化以及文件增加所产生的日志。测试在两完整性。模拟用户创建文件，并且向文件中写入文本，分别使用标准的 Flume的 Flume 采集日志，然后计算出采集到的日志数据与实际日志数据之间采用正确匹配的条数占总日志条数的比例。实验时考虑到本文场景中

图 3.3 队列管理算法实验结果 3.3 中可以发现，在 6 个采集源和 6 个水槽的情况下，数据采集的完整性管理算法之后对数据采集的完整性有较大程度的提升。在 2 个采集源的情整性处于低值，原因是采集速率和传输速率之间的不协调导致的，这时候，对完整性的提升还是比较理想。在 8 个采集源的情况下，采集的完整性开日志的采集速率过快，缓冲队列也无法完全协调，导致日志数据存在较多队列管理算法也不能提升数据完整性。采集效率的实验。通过 Flume 自定义配置以及相应接口的重新实现，对云产生的系统日志进行采集，获取整个过程采集所消耗的时间。将标准的 Flu置、加入队列管理的标准配置以及加入队列管理的自定义配置所消耗的时对比，采集源和水槽的个数都设定为 6 个，这样避免了采集源和传输不匹的影响。上述的 4 种状况的对应关系如表 3.1 所示：表 3.1 采集配置情况对应表

南京邮电大学专业学位硕士研究生学位论文 第四章 基于稠密网络的日志分析算法确率和泛化性会降低。所以这里将采取神经网络的方式做一个分类的操作。神经网络利用网络的结构上的设计配合反向传播算法，加上合理的损失函数，能够将日志数据的特征提取出来，同时考虑到不同类型日志之间的关联性。根据日志的特点设计如图 4.1 所示的结构:
【相似文献】

相关期刊论文 前10条

1 李莉;;日志易 利用人工智能从日志分析中寻求机会[J];创业邦;2018年01期

2 李静;施勇;薛质;;基于蜜罐日志分析的主动防御研究[J];信息安全与通信保密;2009年03期

3 王二暖;康李;;Oracle中使用LogMiner进行日志分析[J];电脑开发与应用;2007年09期

4 朱欣怡;;基于大数据技术的日志分析体系结构的研究[J];智库时代;2019年15期

5 王逸兮;冯浩;刘芬;;大规模查询日志分析模型构建机制[J];数字通信世界;2017年11期

6 钱卫;袁瑞冬;;集中管理服务日志[J];网络安全和信息化;2017年06期

7 胡沐创;;大数据日志分析平台应用探索与实践[J];金融科技时代;2018年01期

8 王立柱;朱茜;;实时日志分析系统在河南气象信息化中的应用[J];气象水文海洋仪器;2018年03期

9 ;SITEVIEW DeepLOG深度日志分析[J];网络安全和信息化;2016年05期

10 周航;毕永军;;日志分析技术在IT运维管理中的应用[J];金融电子化;2017年03期

相关博士学位论文 前1条

1 李志强;基于网络日志的用户行为分析[D];北京理工大学;2016年

相关硕士学位论文 前10条

1 孔令棋;基于Hadoop的上网日志分析系统的设计与实现[D];安徽工业大学;2019年

2 庞洁;基于流计算的集群日志实时分析系统的设计与实现[D];哈尔滨工业大学;2019年

3 吴鑫泉;自主容器云平台日志的大数据分析研究与实现[D];中国电子科技集团公司电子科学研究院;2019年

4 徐战辉;CDN海量日志实时分析问题研究与平台开发[D];西安电子科技大学;2019年

5 时熙然;基于日志的异常检测研究[D];中国民航大学;2019年

6 郭舒婷;多粒度日志自动解析方法研究[D];南京邮电大学;2019年

7 蔡波;云环境中用户日志采集和处理算法的研究与实现[D];南京邮电大学;2019年

8 龚立航;基于海量日志的服务器故障分析技术研究[D];上海交通大学;2018年

9 孙书亚;日志诱导下的流程变化挖掘方法研究[D];安徽理工大学;2019年

10 鱼有渊;音乐类移动应用的日志收集分析系统设计与实现[D];北京交通大学;2019年

本文编号：2859038