磁盘阵列节能数据布局与性能优化的研究

发布时间：2020-10-13 04:22

　　 随着IT信息化和移动互联网的飞速发展,数据存储量快速增长。随着存储设备使用量的增加,存储设备的能耗已达到数据中心的26%~40%。因此,存储设备的节能研究具有重要意义。近年来,连续数据存储的应用日益广泛,如视频监控、连续数据保护、虚拟磁带库、备份、归档等。连续数据存储系统具有特定的数据访问模式和存储特性,例如以顺序数据访问为主,对随机性能要求不高;对带宽的要求不高,但对数据的可靠性、存储空间要求较高;负载以写操作为主等。针对连续数据存储系统的节能研究需要充分考虑到上述因素,在磁盘阵列存储系统的组织结构、节能机制和调度算法方面进行适应性研究,以充分发挥存储设备的效能,降低存储系统的能耗。S-RAID是一种适用于连续数据存储的节能磁盘阵列,采用局部并行策略,通过改变数据块地址排列方式使局部磁盘并行而降低存储系统能耗。S-RAID均衡了存储系统的性能与能耗,在保证性能需求的前提下,降低存储系统的能耗。本文在现有S-RAID研究的基础上,面向连续数据存储的磁盘阵列的节能与性能优化等方面进行了如下研究:(1)S-RAID的局部并行数据布局是静态的,适合单一平稳的工作负载,难以适应较高强度的波动负载或突发负载。为此,针对连续数据存储的复杂应用负载,提出一种动态节能数据布局DEEDL。DEEDL在局部并行节能策略基础上,采用地址空间动态映射机制,根据I/O写负载需求的变化动态分配具有合适并行度的存储空间。DEEDL能够更好地适应波动负载或突发负载。实验表明,在满足性能需求及单盘容错的条件下,DEEDL的节能效果相比S-RAID、PARAID和eRAID 5等有明显的优势,其功耗为S-RAID功耗的83%、PARAID功耗的29%、eRAID 5功耗的31%。(2)为保证更多磁盘待机节能,S-RAID执行“读─改─写”的“小写”操作,在小写过程中,由于写操作引入了额外的、等量的读操作,因此S-RAID中单位磁盘的写性能较低。为此,提出一种基于预读与I/O聚合的性能优化方法,通过减少I/O数和寻道次数,增大I/O尺寸来提高磁盘的传输率,包括:识别来自上层应用的写请求顺序流;由写请求顺序流触发大粒度异步预读,预读小写操作所需要的旧数据、旧校验数据;进行写操作聚合,将若干个写请求合并为大尺寸的写请求;建立基于预读、写缓存、写回的写操作流水线等。这些策略充分利用了连续数据存储应用的存储特性以及现代磁盘的性能优势,显著提高了S-RAID的写性能。采用98%顺序写的负载测试,性能至少提高47%,而在交织写顺序流下的写性能则可提高56%以上。(3)连续数据存储应用以顺序访问为主,存在少量随机访问,而这些少量随机访问也会显著降低磁盘性能;同时,由于S-RAID突出的小写问题,影响了其写性能。为此,在S-RAID的基础上提出了面向该类存储系统的磁盘阵列——Ripple-RAID,Ripple-RAID对顺序访问进行了布局和读写性能的优化,采用了新的局部并行数据布局,综合运用基于SSD的地址映射和数据更新、基于流水技术渐进生成校验、Cache优化等策略,在单盘容错条件下,写性能和能耗两项指标均优于S-RAID 5。24小时节能实验中,在80%顺序写负载条件下,请求长度为512KB时,写性能为S-RAID 5的3.9倍,Hibernator、MAID写性能的1.9倍,PARAID、eRAID 5写性能的0.49倍;而比S-RAID 5节能20%,比Hibernator、MAID节能33%,比eRAID节能70%,比PARAID节能72%。
【学位单位】：北京理工大学
【学位级别】：博士
【学位年份】：2015
【中图分类】：TP333
【文章目录】：
摘要
abstract
第1章 绪论
    1.1 研究背景及意义
    1.2 国内外研究现状
        1.2.1 磁盘技术发展
        1.2.2 磁盘阵列
        1.2.3 磁盘节能技术
    1.3 论文研究内容
    1.4 论文组织结构
第2章 存储系统节能技术相关机制分析
    2.1 存储系统节能技术发展
        2.1.1 单磁盘节能技术
        2.1.2 磁盘阵列节能技术
        2.1.3 系统级节能技术
    2.2 存储系统节能技术分析
        2.2.1 节能技术效果分析
        2.2.2 节能常用技术分析
    2.3 节能磁盘阵列—S‐RAID
        2.3.1 S‐RAID 4 数据布局
        2.3.2 S‐RAID 5 数据布局
    2.4 本章小结
第3章 连续数据存储中的动态节能数据布局研究
    3.1 引言
    3.2 相关研究
        3.2.1 研究现状
        3.2.2 S‐RAID存在的问题
    3.3 DEEDL的实现
        3.3.1 基本数据布局
        3.3.2 存储空间动态映射
        3.3.3 访问冲突避让
        3.3.4 性能需求感知
        3.3.5 性能与节能优化
    3.4 实验测试
        3.4.1 实验环境
        3.4.2 性能测试
        3.4.3 节能测试
    3.5 本章小结
第4章 基于预读与I/O聚合的S‐RAID性能优化方法
    4.1 引言
    4.2 相关研究
    4.3 小写预读算法
        4.3.1 预读数据结构
        4.3.2 预读算法
        4.3.3 预读触发条件
        4.3.4 预读窗.设定
        4.3.5 小写预读实例
    4.4 写操作聚合
    4.5 小写操作流水
    4.6 实验测试
    4.7 本章小结
第5章 面向顺序数据访问的节能磁盘阵列RIPPLE‐RAID
    5.1 引言
    5.2 相关研究
        5.2.1 “小写”优化策略研究现状
        5.2.2 SSD分级存储及其在节能研究中的应用
        5.2.3 Ripple‐RAID磁盘阵列
    5.3 RIPPLE‐RAID数据布局
        5.3.1 Ripple‐RAID 5 数据布局
        5.3.2 Ripple‐RAID 6 数据布局
        5.3.3 Ripple‐RAID数据容错及恢复
    5.4 基于写操作优化和流水式校验的节能策略
        5.4.1 写操作优化
        5.4.2 流水式校验生成
    5.5 基于SSD的节能优化
        5.5.1 基于SSD的“小写”优化
        5.5.2 基于SSD的流水式校验生成
    5.6 基于CACHE的RIPPLE‐RAID校验优化
        5.6.1 Cache优化策略整体结构
        5.6.2 Cache校验优化策略
    5.7 实验测试
        5.7.1 实验环境
        5.7.2 冗余磁盘
        5.7.3 性能测试
        5.7.4 节能测试
    5.8 本章小结
结论
参考文献
攻读学位期间发表论文与研究成果清单
致谢
作者简介

【相似文献】

相关期刊论文 前10条

1 许平帅;IDE“老调”阵列“新弹”[J];微电脑世界;2002年06期

2 曹克松;;磁盘阵列管理 提升安全档次[J];金融电子化;2002年10期

3 周杰,刘晓光,王刚,刘璟;基于镜像和奇偶校验容许两个盘故障的磁盘阵列数据布局[J];计算机工程与应用;2002年18期

4 冯丹,袁圣权,张江陵;磁盘阵列附网存储技术的研究[J];计算机工程;2002年10期

5 王朗;磁盘阵列存贮系统及其选择[J];高校图书馆工作;2003年01期

6 陶春雨;两块硬盘出故障时磁盘阵列中的数据拯救[J];计算机时代;2003年04期

7 黄秋志,施亮,吴智铭;分布式磁盘阵列的结构及冗余策略[J];微型电脑应用;2003年07期

8 尤春燕,张涛;磁盘阵列的维护与操作[J];石家庄铁路工程职业技术学院学报;2004年03期

9 颜军;磁盘阵列高可靠应用技巧[J];微电脑世界;2004年09期

10 万武南;孟庆春;王晓京;;基于V码的高可靠性磁盘阵列容错模型[J];计算机工程;2007年08期

相关博士学位论文 前10条

1 吴素贞;磁盘阵列高可用技术研究[D];华中科技大学;2010年

2 王刚;网络磁盘阵列结构和数据布局研究[D];南开大学;2002年

3 李明强;磁盘阵列的纠删码技术研究[D];清华大学;2011年

4 万胜刚;磁盘阵列高容错模式及重构技术研究[D];华中科技大学;2010年

5 邓玉辉;基于网络磁盘阵列的海量信息存储系统[D];华中科技大学;2004年

6 罗象宏;磁盘阵列的编码与容错技术研究[D];清华大学;2014年

7 王继彬;磁盘阵列快速重构，扩容及性能优化研究[D];华中科技大学;2013年

8 邓振杰;提高海量磁记录系统性能的方法研究[D];河北工业大学;2010年

9 李元章;磁盘阵列节能数据布局与性能优化的研究[D];北京理工大学;2015年

10 毛波;盘阵列的数据布局技术研究[D];华中科技大学;2010年

相关硕士学位论文 前10条

1 张玲;磁盘阵列的模拟方法研究[D];辽宁师范大学;2009年

2 武文智;磁盘阵列扩容技术的研究与实现[D];华中科技大学;2008年

3 陈明宇;基于网络的高可用性软磁盘阵列[D];中国科学院研究生院（计算技术研究所）;1997年

4 胡维;基于智能预警和自修复的高可靠磁盘阵列关键技术研究[D];国防科学技术大学;2010年

5 程波;磁盘阵列级节能技术的研究与实现[D];华中科技大学;2011年

6 朱波杰;磁盘阵列的动力学分析及研究[D];电子科技大学;2012年

7 李海东;磁盘阵列节能技术研究与实现[D];华中科技大学;2009年

8 刘方;高速磁盘阵列存储控制系统的设计与实现[D];山东大学;2014年

9 黄修伟;磁盘阵列在地震勘探仪器中的应用及研究[D];西安石油大学;2014年

10 彭丽;光纤通道磁盘阵列设备驱动与在线扩容技术研究[D];华中科技大学;2006年

本文编号：2838725