基于数据访问模式挖掘的磁盘数据预取技术研究

发布时间：2017-04-24 06:04

  本文关键词：基于数据访问模式挖掘的磁盘数据预取技术研究，，由笔耕文化传播整理发布。

【摘要】：计算机系统计算单元与存储单元的性能差距越来越大。存储系统性能的优化对文件系统乃至计算机的整体性能提高有非常重要的作用。数据预取技术是重要的优化手段之一,它不仅用在CPU内部预取指令与数据,更是在数据存储领域得到广泛的研究与应用。然而,大多数的缓存预取算法对应用程序的访问模式有较严格的前提或者假设,使得算法只能优化特定的一类应用程序。本文试图使用数据挖掘的手段从应用程序的数据访问历史中找到其访问模式,以此来帮助预取程序识别访问模式,并做出正确的预取决策。我们的算法不对应用程序做假设,只依赖挖掘出来的访问模式。本文在回顾了一些具有代表性的研究成果和Linux内核所实现的预取算法的基础上,提出了在系统更底层实施预取算法的构想。本文提出了面向预测的关联规则,讨论了这种规则的约束条件以及区别于一般关联规则的特点,重点讨论了时间约束条件对规则的挖掘和应用方面的影响。并指出磁盘的数据访问模式可以用这样的关联规则表示,同时它也能直接用于预取算法中对磁盘访问的预测。在第三章中我们详细讨论了规则挖掘算法设计要点与优化手段。为了达到预取程序所需的实时性,规则的匹配也要求具有较强的实时性。在第四章我们讨论了基本的规则匹配算法以及实时性更佳的基于布隆过滤器的匹配算法。该方法可以避免几乎全部的无效查询。实验表明,每次规则匹配中,该算法几乎能保证一次查询就匹配到规则数据库中的结果。最后文章给出了一个模拟仿真实验环境,在此环境中可以评估本文提出的挖掘、预取算法的性能指标。为了能获取任意真实应用程序的磁盘访问行为,本文还给出了一个在Linux内核中实现的磁盘访问记录抓取程序。作者使用这个工具分别记录下系统运行OLTPBench程序和编译一次Linux内核时,发生的所有磁盘访问记录。连同另外一个公共数据集[54]测试了算法的可行性与性能指标。实验表明,预取算法能够明显提升应用程序的响应时间,并达到了良好的实时性。
【关键词】：关联规则 数据预取 存储系统
【学位授予单位】：西南大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP333.35;TP311.13
【目录】：

• 摘要5-6
• Abstract6-7
• 第1章 绪论7-15
• 1.1 研究背景与意义7-9
• 1.2 国内外研究状况9-11
• 1.3 研究内容11-12
• 1.4 论文组织结构12-13
• 1.5 本章小结13-15
• 第2章 基础预取技术原理与体系结构15-23
• 2.1 引言15
• 2.2 预取技术原理15-16
• 2.3 内存页顺序读的预取技术16-20
• 2.3.1 虚拟文件系统层和块数据层概览16-19
• 2.3.2 VFS中的顺序预取算法原理19-20
• 2.4 本章小结20-23
• 第3章 磁盘块语义关联信息的挖掘算法23-39
• 3.1 引言23
• 3.2 磁盘块相关性23-25
• 3.3 使用统一编址的数据块25-26
• 3.4 面向预测的关联规则26-28
• 3.4.1 数据块的关联规则示例26-27
• 3.4.2 时间约束27-28
• 3.5 关联规则的挖掘算法28-37
• 3.5.1 预处理28-29
• 3.5.2 挖掘单项目先导规则29
• 3.5.3 模式扩展29-35
• 3.5.4 算法并行化35-37
• 3.6 总结37-39
• 第4章 基于关联规则的预取39-47
• 4.1 匹配规则39-40
• 4.1.1 观察窗口39-40
• 4.1.2 对规则库的查询40
• 4.2 基础规则匹配方案40-41
• 4.3 改进的规则匹配方案41-44
• 4.3.1 布隆过滤器41-43
• 4.3.2 基于布隆过滤器的规则匹配43-44
• 4.4 预取项目的选择44-45
• 4.5 本章小结45-47
• 第5章 实验评价47-55
• 5.1 实验设置47-48
• 5.2 实验数据48-50
• 5.2.1 数据集描述48
• 5.2.2 磁盘访问记录器48-50
• 5.3 实验分析50-54
• 5.3.0 挖掘算法开销50-51
• 5.3.1 挖掘算法命中率的比较51-52
• 5.3.2 规则匹配算法的查询次数52-53
• 5.3.3 与其他预取的比较53-54
• 5.4 本章小结54-55
• 第6章 总结与展望55-57
• 6.1 工作总结55
• 6.2 展望55-57
• 参考文献57-61
• 致谢61-62
• 研究生期间研究成果情况62

【相似文献】

中国期刊全文数据库 前10条

1 李春洁;王锐;李美珊;韦韫韬;闫莉蔷;;基于多项式回归的预取技术的研究[J];现代电子技术;2012年22期

2 于晓寒;卢秉亮;梅义搏;;位置相关信息服务中的一种数据预取方法[J];微处理机;2014年01期

3 曹新平;刘美华;韩真;古志民;张建鑫;;预取技术研究进展[J];计算机科学;2003年08期

4 李娜;张利萍;王莉莉;曹新平;;基于主观贝叶斯方法的数据预取技术[J];计算机应用;2008年S1期

5 王盛明;卢秉亮;;位置相关信息服务中一种基于价值的数据预取方法[J];价值工程;2011年10期

6 张建勋;古志民;;帮助线程预取技术研究综述[J];计算机科学;2013年07期

7 戴东波,印鉴,梁华金;结合访问序列和内容挖掘的预取技术[J];计算机工程;2005年22期

8 张荣芸;;浅析缓存预取技术[J];现代计算机(专业版);2011年13期

9 张霄宏;雒芬;贾宗璞;沈记全;;一种适用于Hadoop MapReduce环境的数据预取方法[J];西安电子科技大学学报;2014年02期

10 尹春天,古志民,廖祥文;基于搜索结果的预取技术研究[J];计算机应用;2004年01期

中国重要会议论文全文数据库 前2条

1 欧国东;潘国腾;罗莉;;两阶段数据预取线程评估方法[A];第十六届计算机工程与工艺年会暨第二届微处理器技术论坛论文集[C];2012年

2 欧国东;王永文;张民选;;基于线程的多路径数据预取技术研究[A];2010年第16届全国信息存储技术大会（IST2010）论文集[C];2010年

中国博士学位论文全文数据库 前1条

1 欧国东;基于线程的数据预取技术研究[D];国防科学技术大学;2011年

中国硕士学位论文全文数据库 前10条

1 姚南野;基于关联分析的移动评教数据预取与缓存研究[D];华中师范大学;2015年

2 朱凌宇;基于数据访问模式挖掘的磁盘数据预取技术研究[D];西南大学;2015年

3 辛愿;面向嵌入式系统的自调数据预取[D];浙江大学;2013年

4 张百达;一种软硬结合的预取技术研究[D];国防科学技术大学;2008年

5 刘敬伟;时空结合的数据预取[D];浙江工业大学;2011年

6 郑长安;多应用环境下自适应预取策略研究[D];华中科技大学;2011年

7 张美玲;增量预取技术在持久化框架中的研究与应用[D];中国海洋大学;2010年

8 王世克;基于数据挖掘的Web服务器预取技术研究[D];国防科学技术大学;2005年

9 宋冰;Web预取与缓存一体化模型研究[D];郑州大学;2006年

10 史海振;基于双关联图的Web预取模型研究[D];郑州大学;2011年

  本文关键词：基于数据访问模式挖掘的磁盘数据预取技术研究，由笔耕文化传播整理发布。

本文编号：323668