云存储环境下的混合存储算法研究与实现

发布时间：2017-09-27 18:24

  本文关键词：云存储环境下的混合存储算法研究与实现

  更多相关文章： 混合存储系统 固态盘 缓存替换算法 热点识别

【摘要】：随着大数据的快速发展,大规模的数据运算与读写对存储系统提出了越来越高的要求。这些系统中运行的任务具有高并发度特征,使得存储系统的数据访问呈现随机化。固态盘(SSD)是一种新型的存储器件,具有优异的随机读写性能,但其写入次数受到限制,成本高昂,因此,基于SSD和磁盘(HDD)的混合系统成为存储技术发展的主要方向。论文针对SSD-HDD混合存储系统,分析了各种存储介质的特点,研究了混合存储领域的关键技术,面向结构混合存储系统提出了一种基于动态替换代价的缓存调度算法(Dynamic Replacment Cost),以请求中的热点数据以及替换数据的代价作为缓存替换依据,不仅有效地提高了缓存命中率,而且通过减少磁盘随机写操作提升了系统的整体性能。论文的主要工作如下:1)分析了HHD,SSD,NVRAM三种常用的存储设备的特点与局限性。2)研究了SSD的关键技术,并分析了在混合存储中缓存调度算法相关工作。3)详细描述了基于Linux Device Mapper而设计的混合存储系统,对其读写调度机制、底层实现方式、和主要数据结构进行了分析。4)设计实现了DRC算法,使其能够更好的应对云计算场景,并对DRC算法的复杂度进行了优化。5)对DRC算法进行了系统的测试,与两种经典算法FIFO和LRU这进行了比较,验证了DRC算法的有效性。通过对实验结果的分析,本文得出结论:当数据的访问请求呈现随机化和碎片化时,无论缓存空间较小或缓存空间充足,DRC算法都能通过提升命中率和提升脏数据写效率的方式使系统的I/O性能获得显著提升。在高并发读写的场景下,DRC算法与LRU或FIFO算法对比缓存命中率提升可达11.6%,IO速度最多提升16.7%。在保证了命中率和I/O速度的同时,DRC算法并没有过度的消耗CPU的性能,或进行频繁的闪存擦除操作。对于混合系统中运行的其他进程没有过度干扰,也一定程度上保证了闪存设备的寿命。在混合存储系统中,证明了DRC算法的可行性与优越性。
【关键词】：混合存储系统 固态盘 缓存替换算法 热点识别
【学位授予单位】：上海交通大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP333
【目录】：

• 摘要3-5
• ABSTRACT5-12
• 第一章 绪论12-15
• 1.1 研究背景与意义12-13
• 1.2 研究内容及目标13
• 1.3 论文结构13-15
• 第二章 混合存储系统介绍15-22
• 2.1 存储介质特性15-18
• 2.1.1 HDD设备特性15
• 2.1.2 SSD设备特性15-18
• 2.1.3 NVRAM设备特性18
• 2.1.4各存储介质的性能对比18
• 2.2 闪存设备在存储中的应用方式18-21
• 2.2.1 闪存卡加速器20
• 2.2.2 闪存阵列20
• 2.2.3 基于闪存的分布式集群系统20-21
• 2.2.4 混合存储21
• 2.3 本章小结21-22
• 第三章 闪存应用关键技术22-27
• 3.1 地址映射22-23
• 3.1.1 基于页的地址映射22-23
• 3.1.2 基于块的地址映射23
• 3.1.3 混合式地址映射23
• 3.2 垃圾回收23-24
• 3.2.1 垃圾回收时机的选择23-24
• 3.2.2 回收块的选择24
• 3.3 磨损均衡24-25
• 3.3.1 动态磨损均衡24
• 3.3.2 静态磨损均衡24-25
• 3.4 闪存作为缓存时的管理策略25-26
• 3.4.1 基于页的替换策略25
• 3.4.2 基于块的替换策略25-26
• 3.5 本章小结26-27
• 第四章 DRC缓存替换算法设计27-41
• 4.1 算法设计关键因素27
• 4.2 替换算法的相关研究27-36
• 4.2.1 CFLRU算法28-29
• 4.2.2 LRU-WSR算法29-32
• 4.2.3 BPLRU算法32-36
• 4.2.4 CFDC算法36
• 4.2.5 ACR算法36
• 4.3 DRC算法的实现36-39
• 4.4 DRC算法的进一步优化39-40
• 4.5 本章小结40-41
• 第五章 DRC算法的应用系统设计41-51
• 5.1 系统的实现基础41-46
• 5.1.1 Device Mapper工作原理41-42
• 5.1.2 dm-io工作原理42-43
• 5.1.3 kcopyd工作原理43-45
• 5.1.4 回写与透写45-46
• 5.2 DRC算法实现的关键数据结构46-47
• 5.3 混合存储系统的设计与实现47-50
• 5.4 本章小结50-51
• 第六章 系统测试51-62
• 6.0 实验目标与测试方法51
• 6.1 实验环境与测试工具51-52
• 6.2 试验结果与分析52-61
• 6.2.1 全读负载测试53-54
• 6.2.2 读写负载测试54-57
• 6.2.3 算法复杂度测试57-59
• 6.2.4 DRC算法对替换次数的优化59-60
• 6.2.5 DRC算法的I/O性能性价比60-61
• 6.3 实验结论61
• 6.4 本章小结61-62
• 第七章 总结与展望62-63
• 参考文献63-65
• 致谢65-66
• 攻读硕士学位期间已发表或录用的论文66-68

【相似文献】

中国期刊全文数据库 前10条

1 于翔;日立数据推出Lightning 9900 V系列存储系统[J];微电脑世界;2002年11期

2 周可,张江陵,冯丹;基于数据块的对等存储系统的设计与实现[J];计算机工程与科学;2003年03期

3 毛宇星;存储系统未来发展的新趋势[J];中国金融电脑;2004年03期

4 王洛;制造业存储系统应用选型[J];电子商务世界;2004年04期

5 李玮;日立力推新存储系统[J];微电脑世界;2004年11期

6 ;存储系统 电信行业服务满意奖[J];每周电脑报;2004年20期

7 ;存储系统 金融行业服务满意奖 电信行业应用卓越奖[J];每周电脑报;2004年20期

8 ;存储系统 制造行业产品创新奖[J];每周电脑报;2004年20期

9 ;存储系统 电信行业技术领先奖[J];每周电脑报;2004年20期

10 ;快速恢复免重安装——山东师范大学完成图书馆存储系统建设[J];每周电脑报;2004年28期

中国重要会议论文全文数据库 前10条

1 赵志刚;;存储系统在企业信息化中的应用[A];2005年安徽通信论文集[C];2006年

2 黄晓峰;张杰;;矿井信息中心存储系统设计[A];安全高效矿井机电装备及信息化技术——陕西省煤炭学会学术年会论文集（2011）[C];2011年

3 孙哲;李昌银;;构建核电高可用云存储系统[A];2012电力行业信息化年会优秀论文专辑[C];2012年

4 焦超;周天彤;李祥学;李建华;;面向灾备的高性能可信存储系统设计[A];第十一届保密通信与信息安全现状研讨会论文集[C];2009年

5 汪位龙;;设计院存储系统建设初探[A];中国公路学会计算机应用分会2004年年会学术论文集[C];2004年

6 梅松竹;李宗伯;;Storage 7000系列混合存储系统分析[A];2009年中国高校通信类院系学术研讨会论文集[C];2009年

7 王克敏;张玺;胡江凯;王毅涛;;NWP资料归档方法及其存储系统的应用[A];中国气象学会2006年年会“中尺度天气动力学、数值模拟和预测”分会场论文集[C];2006年

8 孙哲;李昌银;;DeDu:基于云计算的冗余删除存储系统[A];电力行业新一代信息技术研讨会论文集[C];2011年

9 高小伍;党齐民;林晨;;校园网存储系统的研究与实现[A];中国高等教育学会教育信息化分会第十次学术年会论文集[C];2010年

10 那文武;孟晓p，

本文编号：931246