基于流量预测的日志存储系统的设计与实现

发布时间：2020-12-11 22:21

　　网络日志是定位网络安全问题的重要依据。网络日志周期性强、瞬时值高的特点易使系统平均访问时间延长,波动变大。设计适合日志数据的存储方法,对降低访问时延、提高系统稳定性具有重要的意义。当前,日志存储多使用通用数据存储的方式,存储策略单一,对日志存储的特定场景考虑较少,且对固态硬盘这类新型存储介质的利用较少。为解决上述问题,本课题提出基于流量预测的日志存储方法,并基于该方法设计、实现基于流量预测的日志存储系统。具体内容如下:首先,提出基于流量预测的日志存储方法。从日志数据的特点出发,充分利用日志数据的时间序列特性,将日志流量按照所提方法划分为高峰期、中间期与低谷期,并使用BP神经网络对日志流量进行预测。然后根据日志流量的当前值与预测值综合系统性能状况计算不同时期中日志在机械硬盘与缓存介质间的分配比例、调整方法以及日志缓存的消费方式。其次,基于所提方法,设计并实现基于流量预测的日志存储系统,包括调度层、监控层与应用层。该系统选取固态硬盘作为日志缓存,根据用户配置自动化完成日志采集、解析、存储与查看,并根据日志流量预测值自动选择相应的存储介质与存储策略,完成日志存储。实验结果表明,此系统可以有效... 

【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校

【文章页数】：90 页

【学位级别】：硕士

【部分图文】：

图２－１预写日志工作原理示意图??

中目前被广泛应用的种类之一，它使用梯度下降法以获得最小的实际输出值与??期望输出值的误差均方差。??图２－２所示是一个三层ＢＰ神经网络的拓扑结构，它包括输入层、隐含层和??输出层。每个层中都有一定数量的神经元，＆为输入层和隐含层之间的连接权??值，％为隐含层和输出层之间的链接权值。??ｉｎ?ｙｖ?ｈｊ?）??－２??图２－２三层ＢＰ神经网络??ＢＰ神经网络模型的训练主要由以下两个过程组成，分别为前向传播与反向??传播。??２．２．２前向传播??前向传播也即计算实际输出与期望输出之间的误差时按照从输入到输出的??方向进行计算，输入信号通过隐含层作用于输出节点，经过非线性变换，产生??输出信号，若误差符合所设阈值，结果成立，否则转入反向传播的过程。设输??入样本为＇?＝?…ｚｊ，输出值为＾＾＾，＾…况＾来计算系统误??差值，误差计算公式如公式（２－１）所示：??Ｅ｛ｎ）?＝?＼ｊ＾｛ＯＴｋｐ－Ｏｐｋ）２?（２－１）??＾?Ｐ＝＼?Ｋ＝＼??２．２．３反向传播??当实际输出与期望输出误差超出所设阈值时

??ｇｏ?ｆｉｍｃ（）语句就可以实现并发编程。如图２－３所示，Ｇｏ调度器主要包括Ｇ／Ｍ／Ｐ??三个部分［２３】。??Ｇ即Ｇｏｒｏｕｔｉｎｅ，它类似于操作系统中的进程控制块（ＰＣＢ），保存栈、状态、??ｉｄ、函数等信息，它通过ｇｏｆｕｎｃＧ语句被创建，并且只有被绑定到Ｐ才可以被调??度执行。??Ｍ即Ｍａｃｈｉｎｅ，它是实际工作的线程，因此，每当一个Ｍ被创建，一个底??层线程也被创建，而Ｇ最终也是通过Ｍ执行的。Ｍ会从运行队列中取出Ｇ并??运行，如果Ｇ运行完毕或休眠，则从队列中取下一个Ｇ继续运行。??Ｐ即Ｐｒｏｃｅｓｓｏｒ，它是被抽象出来的处理器概念，每个运行的Ｍ必须绑定一??个Ｐ，就像线程必须在一个ＣＰＵ核上执行一样，由Ｐ来调度Ｇ在Ｍ上的运行，??可以理解为一种多对多的关系。??全局队列?？？？（§）？？??ｔｎｊ?ｒｚ??Ｇ队列?Ｍｉ?．．．??Ｇ?Ｉ?Ｇ??？?Ｇ?Ｇ?Ｇ??｜?Ｉ?＾?Ｉ?Ｉ??ｒ＿Ｌ＾?：??ｐ?ｐ?ｐ?ｐ??Ｍ：?．?：Ｍ??图２－３?Ｇｏ调度器原理示意图??Ｇ／Ｍ／Ｐ设计的精妙之处在于每个Ｍ／Ｐ都拥有一个运行队列

【参考文献】：
期刊论文
[1]基于闪存的混合存储系统缓冲区管理算法[J]. 王光忠,王翰虎,陈梅,马丹.  计算机工程与设计. 2012(06)

博士论文
[1]针对固态盘的I/O优化技术研究[D]. 李红艳.华中科技大学 2016



本文编号：2911314