纠删码存储系统性能优化研究

发布时间：2020-10-24 16:11

　　 存储系统规模增大导致数据丢失成为常态。纠删码技术由于具有低存储开销的特点,因此被存储系统所广泛采用。然而纠删码的引入也改变了存储系统正常的I/O访问和失效修复方式。本文从性能优化角度,从编码设计、条带内局部写、单盘失效修复和多点协同再生等四个方面对纠删码存储系统展开研究。?提出了一种新的RAID-6编码――横纵码(Horizontal-Vertical Code,HV码)。HV码利用横式校验链优化降级读操作和同行条带内局部写操作,构建纵式校验链以优化跨行条带内局部写操作,并均匀放置校验元素以均衡负载。实验结果表明,相比于其他具有代表性的RAID-6编码,HV码在综合性能上具有更好的表现。?提出了一种基于XOR编码的存储系统的条带内局部写操作优化方法――基于校验转换的数据布局方法(Parity-Switched Data Placement,PDP)。PDP利用连续数据元素生成校验元素,并优化校验元素的生成顺序,以减少条带内局部写操作的额外更新。实验结果表明,PDP虽然需要少量存储开销,但是其能减少31.9%的数据更新并提升27.9%的写速度。?提出了一种单盘失效修复中寻道操作和修复带宽兼顾的优化方法――高效寻道修复算法(Seek-Efficient I/O Recovery,SIOR)。SIOR采用现有的优化方法减少每个条带所需修复带宽,并设计基于禁忌搜索的贪心算法和填充算法进一步减少修复过程中的寻道操作。实验结果表明,SIOR能够明显减少搜索时间并减少31.8%～65.1%的寻道操作。?提出了异构存储网络下的一种新的协同再生框架,并设计了该框架下的路由选择算法――异构协同再生算法(Heterogeneous-aware Cooperative Regeneration,HCR)。该框架根据节点的异构性分离新来节点的再生过程,以减少再生过程中的网络开销。HCR进一步设计贪心算法,高效实现已有再生方案在该框架下的路由选择。实验结果表明,HCR仅引入少量的网络传输数据,并减少高达75.4%的网络开销。
【学位单位】：清华大学
【学位级别】：博士
【学位年份】：2015
【中图分类】：TP333
【文章目录】：
摘要
ABSTRACT
第1章 引言
    1.1 研究背景与意义
    1.2 纠删码存储系统概述
        1.2.1 纠删码的基本概念
        1.2.2 纠删码概述
        1.2.3 纠删码存储系统主要性能指标
    1.3 研究内容和主要贡献
        1.3.1 研究内容
        1.3.2 主要贡献
第2章 相关工作
    2.1 RAID-6编码
        2.1.1 RAID-6码中的横式编码
        2.1.2 RAID-6码中的纵式编码
    2.2 条带内局部写操作
    2.3 单盘失效修复
    2.4 异构环境多点协同再生
        2.4.1 多点协同再生
        2.4.2 异构环境修复
    2.5 本章小结
第3章 HV码：一种面向多个性能指标的RAID-6编码
    3.1 概述
    3.2 研究背景与动机
        3.2.1 研究背景
        3.2.2 负载均衡问题
        3.2.3 条带内局部写问题
        3.2.4 磁盘失效恢复问题
        3.2.5 降级读问题
        3.2.6 研究动机
    3.3 HV码的构建方法
        3.3.1 布局和编码规则
        3.3.2 HV码构建过程
        3.3.3 HV码的正确性证明
        3.3.4 数据修复
    3.4 HV码的特征分析
        3.4.1 最优的存储效率
        3.4.2 最优的编码/重构/更新效率
        3.4.3 有效的负载均衡
        3.4.4 快速的数据修复
        3.4.5 优化的条带内写操作性能
    3.5 性能评估
        3.5.1 实验环境
        3.5.2 实验准备
        3.5.3 条带内写操作性能
        3.5.4 降级读操作性能
        3.5.5 单盘恢复性能
        3.5.6 HV码与其他典型RAID-6编码的对比总结
    3.6 本章小结
第4章 基于XOR编码的存储系统的条带内局部写操作优化方法
    4.1 概述
    4.2 研究背景
        4.2.1 横式数据布局
        4.2.2 纵式数据布局
        4.2.3 当前针对条带内局部写操作的优化工作
        4.2.4 当前工作所存在的不足
    4.3 研究动机和挑战
        4.3.1 数据分布规则
        4.3.2 校验元素生成顺序
        4.3.3 数据元素顺序调整
    4.4 PDP设计
        4.4.1 校验元素生成顺序
        4.4.2 数据元素顺序调整
        4.4.3 其他优化方法
        4.4.4 复杂度分析
    4.5 性能评估
        4.5.1 实验环境
        4.5.2 实验负载
        4.5.3 实验方法
        4.5.4 评价指标
        4.5.5 测试结果
        4.5.6 对比总结
    4.6 本章小结
第5章 单盘修复中寻道操作和修复带宽兼顾的优化方法
    5.1 概述
    5.2 研究背景
        5.2.1 单盘失效问题
        5.2.2 当前工作所存在的不足
    5.3 研究动机
    5.4 SIOR设计
        5.4.1 初始修复方案选择
        5.4.2 初始修复方案优化
    5.5 性能评估
        5.5.1 迭代步数的影响
        5.5.2 系统规模的影响
        5.5.3 最优性和计算效率
        5.5.4 修复带宽比较
        5.5.5 元素大小的影响
        5.5.6 总结
    5.6 本章小结
第6章 异构存储网络中多点协同再生的高效路由方法
    6.1 概述
    6.2 研究背景
    6.3 问题描述
        6.3.1 传统协同再生框架
        6.3.2 传统协同再生的限制条件
        6.3.3 新的协同再生框架
        6.3.4 优化模型
        6.3.5 例子
    6.4 异构协同再生方案
        6.4.1 最小聚合路由的寻找
        6.4.2 扩张节点的选择
        6.4.3 供应节点的选择
        6.4.4 节点选择的复杂度分析
    6.5 性能评估
        6.5.1 测试设置
        6.5.2 测试结果
    6.6 本章小结
第7章 总结与展望
    7.1 论文的主要工作
    7.2 未来工作展望
参考文献
致谢
个人简历、在学期间发表的学术论文与研究成果

【相似文献】

相关期刊论文 前10条

1 李红;蓝光存储系统 光盘容量高达23G[J];信息记录材料;2004年01期

2 ;存储系统 金融行业应用卓越奖 医疗行业应用卓越奖[J];每周电脑报;2004年20期

3 诺拉;EMC Symmetrix DMX-3存储系统 超大容量 高速存取[J];中国计算机用户;2005年31期

4 谢世诚;;浪潮推出4Gb光纤存储系统[J];微型机与应用;2006年07期

5 ;昆腾分级存储系统[J];软件世界;2009年11期

6 ;超低功耗云存储系统或被地方政府看好[J];中国有线电视;2013年08期

7 汤赫男;;云存储系统的分析与应用研究[J];计算机光盘软件与应用;2013年24期

8 谌伟;;云存储系统的分析与应用探讨[J];数字技术与应用;2013年10期

9 雅君;跟上企业的匆匆脚步——利用HP SureStoreEXP256构筑企业存储系统[J];中国计算机用户;2000年08期

10 贾莉;;Symmetrix8000实现19TB存储[J];每周电脑报;2000年18期

相关博士学位论文 前10条

1 赵雨虹;云存储系统资源调度技术研究[D];华中科技大学;2015年

2 王福伟;列存储系统的数据安全与网络性能优化模型研究[D];燕山大学;2016年

3 张菁;大规模分布式纠删码存储系统中的高效数据传输技术研究[D];国防科学技术大学;2015年

4 沈志荣;纠删码存储系统性能优化研究[D];清华大学;2015年

5 陆承涛;存储系统性能管理问题的研究[D];华中科技大学;2010年

6 聂雪军;内容感知存储系统中信息信息生命周期管理关键技术研究[D];华中科技大学;2011年

7 罗东健;大规模存储系统高可靠性关键技术研究[D];华中科技大学;2011年

8 聂雪军;内容感知存储系统中信息生命周期管理关键技术研究[D];华中科技大学;2010年

9 王鹏;低密度奇偶校验码应用于存储系统的关键技术研究[D];华中科技大学;2013年

10 刁莹;用数学建模方法评价存储系统性能[D];哈尔滨工程大学;2013年

相关硕士学位论文 前10条

1 冯汉超;基于Hadoop的分布式副本策略研究[D];河北工程大学;2015年

2 张明;IaaS中基于热点数据的存储系统研究与实现[D];哈尔滨工业大学;2015年

3 蒋静远;基于数据通道的非结构化数据多存储系统[D];浙江大学;2015年

4 郭晖;面向高清视频监控的流存储系统设计与实现[D];电子科技大学;2015年

5 许孟杰;嵌入式快速存储模块的研究与实现[D];中国舰船研究院;2015年

6 何洁和;面向POI的分布式结构化存储系统存储引擎设计与实现[D];电子科技大学;2014年

7 王晓;混合存储系统高效快照技术研究[D];北京理工大学;2015年

8 邱登峰;基于Hadoop可公共审计云存储的设计与实现[D];大连理工大学;2015年

9 张致元;电子商品存储系统设计与研究[D];复旦大学;2014年

10 刘秉煦;云存储环境下的混合存储算法研究与实现[D];上海交通大学;2015年

本文编号：2854689