存储系统中突发访问行为的分析与预测

发布时间：2017-05-31 18:15

  本文关键词：存储系统中突发访问行为的分析与预测，由笔耕文化传播整理发布。

【摘要】：突发访问是指在一段极短的时间内对服务器出现大量的突击式访问,但服务器的处理能力却满足不了急剧上升的访问量而无法顺利完成用户提交的相关请求。传统的计算机系统往往是基于预期的峰值负载来对资源进行静态配置的,那么突发访问的存在就会带来诸如能耗,资源浪费等问题。由于突发访问行为的随机性,如何有效地预测突发访问行为一直是一个非常具有挑战性的问题。本文提出了一种基于数据挖掘的方法来获取存储系统中的频繁关联I/O,然后通过过滤频繁关联I/O来预测突发访问行为的发生。为了提高频繁关联I/O的挖掘效率,本文在Apriori算法的基础上,结合I/O数据的时间属性,引入关联强化窗口。在产生频繁关联序列的过程中,该窗口能够以默认大小和不定步长,达到减少时间开销,实现时间局部感知以及强化规则关联性的效果。实验表明,新的挖掘算法不但可以获得与原来算法一致的结果,而且降低了原挖掘算法20%到40%的时间开销。此外,本文通过实验分析发现主导突发访问行为的因素并非频繁关联I/O,基于以上发现,本文提出了一种基于关联挖掘的突发预测算法。该算法主要包括以下五个步骤:首先对三个真实的I/O数据集的训练集进行频繁关联I/O的挖掘;其次按照较长时间粒度对数据集进行划分并获得其对应的I/O请求;再次对较短时间粒度内发生的频繁关联I/O进行过滤;然后利用过滤后的块I/O来预测较长时间粒度内的突发访问行为;最后得出这种预测方法的命中率和发生率。本文在确定了突发阈值和观察阈值后,接着利用该算法对三个I/O数据集的测试集进行了验证实验,并与传统的时序预测算法进行了对比。实验表明,在理想的情况下,这种方法可以获得约70%左右的预测命中率,约2倍于时序预测。由此可以得到一个重要的结论:通过较短时间粒度的非频繁关联I/O来预测其对应的较长时间粒度范围内的突发访问情况是可行且具有现实意义的。
【关键词】：存储I/O 突发访问 关联挖掘 关联强化窗口 预测
【学位授予单位】：暨南大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP311.13;TP333
【目录】：

• 摘要3-4
• Abstract4-7
• 第一章 绪论7-13
• 1.1 研究目的与意义7-8
• 1.2 国内外研究状况8-11
• 1.3 本文的研究内容11-12
• 1.4 本文的创新之处12
• 1.5 本文的组织架构12-13
• 第二章 理论基础13-17
• 2.1 关联规则的基本概念13-14
• 2.2 关联规则挖掘算法Apriori的定义14-15
• 2.3 滑动窗口的类型15
• 2.4 突发访问的基本定义15-17
• 第三章 可时间局部性感知的块I/O关联挖掘算法17-28
• 3.1 频繁关联块17-18
• 3.2 基于关联强化窗口的Apriori改进算法18-21
• 3.3 实验评估与分析21-27
• 3.4 本章小结27-28
• 第四章 存储系统中突发访问行为的分析与预测28-54
• 4.1 突发访问行为的主导因素28-33
• 4.2 基于关联挖掘的突发预测算法33-38
• 4.3 时序预测算法38-44
• 4.4 实验评估与分析44-53
• 4.5 本章小结53-54
• 第五章 总结与展望54-56
• 5.1 本文总结54
• 5.2 展望54-56
• 参考文献56-59
• 在校期间发表论文清单59-60
• 致谢60

【相似文献】

中国期刊全文数据库 前5条

1 刘清华;黄明和;唐权华;王渊;;一种预测群体用户访问行为的算法[J];计算机技术与发展;2014年02期

2 蔡青松,李子木,胡建平;Internet上的流媒体特性及用户访问行为研究[J];北京航空航天大学学报;2005年01期

3 杜文华;;基于用户访问行为的案例模型研究[J];情报杂志;2007年02期

4 陈海龙;王天娇;;社交网站中用户访问行为的影响因素研究——以人人网为例[J];东南传播;2012年05期

5 ;[J];;年期

中国重要报纸全文数据库 前1条

1 本报记者 邹大斌;大数据治理未雨绸缪[N];计算机世界;2012年

中国硕士学位论文全文数据库 前6条

1 黄立锋;存储系统中突发访问行为的分析与预测[D];暨南大学;2015年

2 胡佳;基于近邻决策树的文件访问行为预测方法研究[D];华中科技大学;2012年

3 潘蕾;用户网络访问行为分析模型的研究与设计[D];苏州大学;2006年

4 姜宏飞;基于web日志的访问行为分类技术研究[D];沈阳航空工业学院;2010年

5 张泽云;基于多层B/S结构的网友访问行为的分析系统[D];华南理工大学;2011年

6 魏浩;基于Web数据流分析的用户访问行为核查技术研究[D];解放军信息工程大学;2013年

  本文关键词：存储系统中突发访问行为的分析与预测，由笔耕文化传播整理发布。

，

本文编号：410271