基于SSD的HDD缓存系统研究

发布时间：2017-06-30 12:00

  本文关键词：基于SSD的HDD缓存系统研究，由笔耕文化传播整理发布。

【摘要】：云计算和大数据时代的到来,对计算机存储介质的容量和性能提出了非常高的要求。固态硬盘的出现,从一定程度上满足了这一需求,但在实际应用中,固态硬盘对系统性能提升所能发挥的作用,并未得到完全释放。固态硬盘,作为一种出现相对较晚的存储介质,已经逐渐被部署到数据中心的存储阵列中。相比于机械硬盘,固态硬盘有着体积小、功耗低以及访问速度快的优势。但固态硬盘的高昂价格和相对较低的存储密度,使其难以在短时间内完全取代传统的机械硬盘。在许多存储中心,同时部署着固态硬盘和机械硬盘,且只有部分存储空间被用作存储。笔者认为,如果能将未使用的固态硬盘空间用作机械硬盘的缓存,系统IO性能将会因此而得到提升。针对固态硬盘和机械硬盘共存于数据中心,但性能却没有得到充分发挥这一现状,本论文提出了一种基于固态硬盘的机械硬盘缓存系统解决方案:该方案使用固态硬盘的存储空间作为机械硬盘的缓存,通过实现多种缓存管理算法,提升存储系统的IO性能。解决方案中基于数据局部性原理的缓存管理算法,在系运行过程中,会在冷数据保持不变的前提下,将访问频繁的热数据由机械硬盘逐块拷贝至固态硬盘,这样会降低再次访问热数据的读写延迟。缓存系统中实现了LRU、LFU以及一种论文改进的缓存页面替换算法。改进的缓存页面替换算法综合考虑了缓存块的访问时间和访问频度因素,命中率高且算法时间和空间复杂度低。用户利用配置工具,可指定哪个固态硬盘卷用作缓存空间、以及去缓存哪一块机械硬盘。最终实现的Windows#174;存储卷过滤器驱动程序,提供写穿和写回两种缓存运行模式。两模式的不同在于,写穿模式只缓存读请求,写回模式既缓存读又缓存写请求。为进一步优化性能提升效果,缓存系统还实现了对超长缓存块的支持:支持大于读写请求对齐长度的缓存块。从而达到减少大尺寸读、写请求所所必须的缓存查询次数,提升数据拷贝效率的目的。论文实现的固态硬盘缓存系统不仅能够充分发挥固态硬盘的性能,而且避免了存储系统向全固态硬盘迁移所带来的高昂成本。经测试,由固态硬盘缓存的机械硬盘将会有2-3倍的读写性能提升。
【关键词】：固态磁盘 机械硬盘 缓存系统 混合存储 数据局部性原理 缓存页替换算法
【学位授予单位】：西安电子科技大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP333
【目录】：

• 摘要5-6
• ABSTRACT6-10
• 缩略语对照表10-14
• 第一章 绪论14-18
• 1.1 研究背景14-15
• 1.2 相关研究工作15-17
• 1.3 全文组织结构17-18
• 第二章 背景技术简介18-28
• 2.1 存储介质简介18-22
• 2.1.1 机械硬盘（HDD）18-19
• 2.1.2 固态硬盘（SSD）19-20
• 2.1.3 机械硬盘与固态硬盘的比较20-22
• 2.2 存储系统缓存技术22-24
• 2.2.1 缓存的特点22
• 2.2.2 缓存的工作原理22-23
• 2.2.3 缓存数据替换算法23
• 2.2.4 缓存系统存在的目的23-24
• 2.3 混合存储系统24-25
• 2.3.1 基于DRAM与机械硬盘的混合存储24-25
• 2.3.2 基于NVRAM与机械硬盘的混合存储25
• 2.3.3 基于高低转速磁盘的混合存储25
• 2.3.4 基于固态硬盘和机械硬盘的混合存储25
• 2.4 缓存算法评估25-28
• 第三章 关键实现技术28-44
• 3.1 IO捕获28-31
• 3.1.1 Windows驱动程序模型（WDM）28-29
• 3.1.2 IRP和驱动程序堆栈29-30
• 3.1.3 驱动程序分发函数30
• 3.1.4 存储卷过滤器驱动30-31
• 3.2 缓存页面替换算法31-34
• 3.2.1 基于访问时间的LRU（Least Recently Used）系列替换算法32
• 3.2.2 基于使用频度的LFU（Least Frequently Used）系列替换算法32-33
• 3.2.3 综合考虑时间和访问频度的替换算法33-34
• 3.3 缓存映射策略34-37
• 3.4 缓存索引数据结构37-40
• 3.4.1 单级有序索引38
• 3.4.2 多级有序索引38
• 3.4.3 B+ 树索引38-40
• 3.5 回写策略40-44
• 3.5.1 写穿法（Write Through）40
• 3.5.2 写回法（Write Back）40-42
• 3.5.3 写一次法（Write Once）42-44
• 第四章 设计实现44-62
• 4.1 系统整体架构44-45
• 4.2 缓存算法通用接45-53
• 4.2.1 数据结构46-47
• 4.2.2 外部函数接47-51
• 4.2.3 内部函数接51-53
• 4.3 IO操作捕获函数逻辑53-57
• 4.3.1 默认分发函数53
• 4.3.2 电源事件分发函数53-54
• 4.3.3 IOCTL分发函数54
• 4.3.4 PnP事件分发函数54-56
• 4.3.5 读写分发函数56-57
• 4.4 对超长缓存块的支持57-59
• 4.5 用户配置工具59-62
• 第五章 系统测试与结果分析62-70
• 5.1 测试平台62
• 5.2 测试方法62-64
• 5.2.1 系统正确性验证62
• 5.2.2 系统性能测试62-64
• 5.3 测试结果64-67
• 5.3.1 缓存命中率64-65
• 5.3.2 写穿（Write Through）模式下的测试结果65-66
• 5.3.3 写回（Write Back）策略时的测试结果66-67
• 5.4 结果讨论67-70
• 5.4.1 HDD性能提升比例67
• 5.4.2 与商业软件比较67-70
• 第六章 总结与展望70-72
• 6.1 全文总结70-71
• 6.2 研究展望71-72
• 参考文献72-75
• 致谢75-76
• 作者简介76-77

【相似文献】

中国期刊全文数据库 前10条

1 ;云计算下的互联网信息汇聚和热点缓存系统[J];软件和信息服务;2011年06期

2 林信达;柏林;;利用缓存系统提升宽带用户体验[J];电信技术;2011年12期

3 ;2011年5款备受关注的开源NoSQL数据库[J];硅谷;2012年01期

4 王侃;陈志奎;;面向存储服务的分布式缓存系统研究[J];计算机工程;2010年15期

5 王必尧;王劲林;吴刚;刘学;;一种应用于分布式缓存系统中的缓存部署算法[J];小型微型计算机系统;2012年08期

6 韩向春;郭婷婷;林星宇;丰保杰;;集群缓存系统中代理缓存技术的研究[J];计算机工程与设计;2006年20期

7 崔大海;曹炳尧;;顺序流媒体缓存系统的设计与实现[J];电子测量技术;2012年10期

8 陈森利;吴福疆;林洪浩;李楠;;电力计量采集系统中分布式缓存系统研究[J];信息技术;2014年07期

9 祁晖;刘衍珩;曲良东;魏达;;车载中心式导航系统中缓存系统的设计与实现[J];吉林大学学报(工学版);2012年03期

10 黄曼萍;80386高性能超高速缓存系统[J];航空电子技术;1993年03期

中国重要报纸全文数据库 前1条

1 ;XceL4加速缓存系统[N];计算机世界;2002年

中国硕士学位论文全文数据库 前10条

1 陈涛;基于内存的分布式缓存系统设计[D];华中师范大学;2012年

2 郑伟;基于云计算的分布式缓存系统的研究和实现[D];重庆大学;2012年

3 申彤;云存储网关的分布式缓存系统的研究与实现[D];国防科学技术大学;2012年

4 关媛元;基于缓存系统的影视级别群组动画制作方法的研究及实现[D];东北师范大学;2015年

5 张德强;分布式全文检索中缓存系统研究与实现[D];哈尔滨工业大学;2011年

6 张建惠;面向云计算平台的网络缓存系统的实现[D];杭州电子科技大学;2013年

7 王文苑;分布式缓存可用性相关问题研究[D];华中科技大学;2013年

8 谢瑞莲;分布式搜索引擎中缓存系统的研究与实现[D];西北大学;2009年

9 倪高鹏;基于Memcached的缓存系统设计与实现[D];大连理工大学;2012年

10 张全明;HTTP缓存系统设计与实现[D];西南交通大学;2013年

  本文关键词：基于SSD的HDD缓存系统研究，，由笔耕文化传播整理发布。

本文编号：501792