跨数据中心容错的云存储系统

发布时间：2017-07-29 10:21

  本文关键词：跨数据中心容错的云存储系统

  更多相关文章： 跨数据中心容错 云存储系统 分布式系统

【摘要】：现有主流的云存储系统大多只支持单数据中心内的容错,其假设数据中心整体是永不故障的。但事实上,数据中心也会出现整体故障。为了容忍数据中心整体故障,需要考虑跨数据中心容错场景的特点,包括数据中心间的延迟高、带宽贵以及数据块大量不可用等。根据这些特点设计容错算法和实现云存储系统时,又存在容错性、延迟、吞吐量和成本之间权衡的困难。本文提出了适合跨数据中心容错场景的算法,并实现了相应的云存储系统,最后通过实验验证了所提出算法的可行性。本文的主要工作有：1.本文首先基于主流单数据中心内容错的编码算法,针对跨数据中心容错的场景特点,设计了对应的跨数据中心容错算法,包括MC-CDFA算法、RSC-CDFA算法和LRC-CDFA算法。但经过分析后发现,这些容错算法有一些容错性不足、成本高等问题。2.本文在主流Erasure Codes算法低存储成本的基础上,引入了Domain的概念,提出了Domain Fault Codes(DFC)和拓扑感知的思路,在获取低存储成本、低修复带宽成本的同时,提供能容忍数据中心级别故障的容错性。以DFC和拓扑感知为基础,本文提出了适用于冷数据归档等场景的DFC-TCDFA算法。为了优化延迟,推广到通用场景,本文又进一步提出了适用于通用场景的MCLDFC-TCDFA算法。3.本文以DFC-TCDFA算法为核心实现了一个跨数据中心容错的云存储系统,最后通过模拟数据中心故障等实验验证了该系统的高容错性、高可用性、低成本等特性,进而验证了所提出的DFC编码和DFC-TCDFA算法的可行性。
【关键词】：跨数据中心容错 云存储系统 分布式系统
【学位授予单位】：浙江大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP333
【目录】：

• 摘要4-5
• Abstract5-11
• 第1章 绪论11-19
• 1.1 跨数据中心容错的必要性11-12
• 1.2 跨数据中心容错的场景特点12-13
• 1.2.1 数据中心间网络的特点12
• 1.2.2 数据中心整体故障的特点12-13
• 1.3 跨数据中心容错的困难13-15
• 1.3.1 容错性与写延迟13-14
• 1.3.2 容错性与成本14
• 1.3.3 读延迟、写延迟与成本14-15
• 1.3.4 写延迟与吞吐量15
• 1.4 相关研究15-17
• 1.5 本文贡献点17
• 1.6 本文结构17-18
• 1.7 本章小结18-19
• 第2章 容错算法设计19-54
• 2.1 CDFA算法的目标19
• 2.2 MC-CDFA算法19-22
• 2.2.1 多份拷贝简介19
• 2.2.2 MC-CDFA算法设计19-21
• 2.2.3 优缺点分析21-22
• 2.3 RSC-CDFA算法22-27
• 2.3.1 Reed Solomon Codes简介22
• 2.3.2 RSC-CDFA算法设计22-25
• 2.3.3 优缺点分析25-27
• 2.4 LRC-CDFA算法27-40
• 2.4.1 Locally Repairable Codes简介27-28
• 2.4.2 LRC-CDFA算法设计28-39
• 2.4.3 优缺点分析39-40
• 2.5 TCDFA算法40-53
• 2.5.1 Domain Fault Codes算法41-42
• 2.5.2 DFC-TCDFA算法设计42-49
• 2.5.3 MCLDFC-TCDFA算法设计49-53
• 2.6 本章小结53-54
• 第3章 系统设计与实现54-69
• 3.1 算法选择和系统设计目标54
• 3.2 接口语义54-55
• 3.3 系统角色55-58
• 3.3.1 Client角色55-56
• 3.3.2 Master角色56-57
• 3.3.3 BlockNode角色57-58
• 3.4 Block和BlockGroup的状态机58-61
• 3.5 操作的工作流61-66
• 3.5.1 create工作流61-62
• 3.5.2 write工作流62-64
• 3.5.3 read工作流64
• 3.5.4 erase工作流64-65
• 3.5.5 fetch工作流65-66
• 3.6 拓扑感知的实现66
• 3.7 Block恢复66-67
• 3.7.1 离线恢复66-67
• 3.7.2 在线恢复67
• 3.8 垃圾回收67-68
• 3.9 透明加密68
• 3.10 本章小结68-69
• 第4章 实验验证69-78
• 4.1 实验一：数据中心宕机模拟实验69-71
• 4.1.1 实验目标69
• 4.1.2 实验配置和模拟方案69
• 4.1.3 实验步骤69-70
• 4.1.4 实验结果与分析70-71
• 4.2 实验二：离线恢复实验71-75
• 4.2.1 实验目标71
• 4.2.2 实验配置和模拟方案71-72
• 4.2.3 实验步骤72
• 4.2.4 实验结果与分析72-75
• 4.3 实验三：入侵扫描模拟实验75-77
• 4.3.1 实验目标75
• 4.3.2 实验配置和模拟方案75
• 4.3.3 实验步骤75
• 4.3.4 实验结果与分析75-77
• 4.4 本章小结77-78
• 第5章 总结与展望78-80
• 参考文献80-82
• 攻读硕士学位期间主要的研究成果82-83
• 致谢83

【相似文献】

中国期刊全文数据库 前10条

1 李红;蓝光存储系统 光盘容量高达23G[J];信息记录材料;2004年01期

2 ;存储系统 金融行业应用卓越奖 医疗行业应用卓越奖[J];每周电脑报;2004年20期

3 诺拉;EMC Symmetrix DMX-3存储系统 超大容量 高速存取[J];中国计算机用户;2005年31期

4 谢世诚;;浪潮推出4Gb光纤存储系统[J];微型机与应用;2006年07期

5 ;昆腾分级存储系统[J];软件世界;2009年11期

6 ;超低功耗云存储系统或被地方政府看好[J];中国有线电视;2013年08期

7 汤赫男;;云存储系统的分析与应用研究[J];计算机光盘软件与应用;2013年24期

8 谌伟;;云存储系统的分析与应用探讨[J];数字技术与应用;2013年10期

9 雅君;跟上企业的匆匆脚步——利用HP SureStoreEXP256构筑企业存储系统[J];中国计算机用户;2000年08期

10 贾莉;;Symmetrix8000实现19TB存储[J];每周电脑报;2000年18期

中国重要会议论文全文数据库 前10条

1 赵志刚;;存储系统在企业信息化中的应用[A];2005年安徽通信论文集[C];2006年

2 黄晓峰;张杰;;矿井信息中心存储系统设计[A];安全高效矿井机电装备及信息化技术——陕西省煤炭学会学术年会论文集（2011）[C];2011年

3 孙哲;李昌银;;构建核电高可用云存储系统[A];2012电力行业信息化年会优秀论文专辑[C];2012年

4 焦超;周天彤;李祥学;李建华;;面向灾备的高性能可信存储系统设计[A];第十一届保密通信与信息安全现状研讨会论文集[C];2009年

5 汪位龙;;设计院存储系统建设初探[A];中国公路学会计算机应用分会2004年年会学术论文集[C];2004年

6 梅松竹;李宗伯;;Storage 7000系列混合存储系统分析[A];2009年中国高校通信类院系学术研讨会论文集[C];2009年

7 王克敏;张玺;胡江凯;王毅涛;;NWP资料归档方法及其存储系统的应用[A];中国气象学会2006年年会“中尺度天气动力学、数值模拟和预测”分会场论文集[C];2006年

8 孙哲;李昌银;;DeDu:基于云计算的冗余删除存储系统[A];电力行业新一代信息技术研讨会论文集[C];2011年

9 高小伍;党齐民;林晨;;校园网存储系统的研究与实现[A];中国高等教育学会教育信息化分会第十次学术年会论文集[C];2010年

10 宫海林;郭长国;苑洪亮;王怀民;;支持事务的非结构化数据聚合存储系统GSL[A];2006年全国开放式分布与并行计算机学术会议论文集（三）[C];2006年

中国重要报纸全文数据库 前10条

1 ;第三季度中国存储系统市场达19.1亿元[N];中国高新技术产业导报;2005年

2 本报记者 薛斐;服务：存储系统的灵魂[N];计算机世界;2002年

3 单群一;惠普推出全新一体化存储系统[N];中国税务报;2007年

4 ;浪潮推出4Gb光纤存储系统[N];人民邮电;2006年

5 ;今年第二季度 存储系统市场价值达12.6亿元[N];人民邮电;2006年

6 郭;日立推出普及型存储系统[N];计算机世界;2007年

7 陈耀光;朗登 扛起存储系统设计院的大旗[N];中国企业报;2001年

8 ;富士通存储系统全面升级[N];网络世界;2009年

9 ;EMC亚洲生产制造中心落户深圳[N];网络世界;2009年

10 临履;存储系统有了“设计院”[N];网络世界;2001年

中国博士学位论文全文数据库 前10条

1 赵雨虹;云存储系统资源调度技术研究[D];华中科技大学;2015年

2 陆承涛;存储系统性能管理问题的研究[D];华中科技大学;2010年

3 聂雪军;内容感知存储系统中信息信息生命周期管理关键技术研究[D];华中科技大学;2011年

4 罗东健;大规模存储系统高可靠性关键技术研究[D];华中科技大学;2011年

5 聂雪军;内容感知存储系统中信息生命周期管理关键技术研究[D];华中科技大学;2010年

6 王鹏;低密度奇偶校验码应用于存储系统的关键技术研究[D];华中科技大学;2013年

7 刁莹;用数学建模方法评价存储系统性能[D];哈尔滨工程大学;2013年

8 符青云;面向大规模流媒体服务的高性能存储系统研究[D];电子科技大学;2009年

9 王玉林;多节点容错存储系统的数据与缓存组织研究[D];电子科技大学;2010年

10 田敬;对等存储系统中的数据可用性与安全性研究[D];北京大学;2007年

中国硕士学位论文全文数据库 前10条

1 冯汉超;基于Hadoop的分布式副本策略研究[D];河北工程大学;2015年

2 张明;IaaS中基于热点数据的存储系统研究与实现[D];哈尔滨工业大学;2015年

3 蒋静远;基于数据通道的非结构化数据多存储系统[D];浙江大学;2015年

4 郭晖;面向高清视频监控的流存储系统设计与实现[D];电子科技大学;2015年

5 许孟杰;嵌入式快速存储模块的研究与实现[D];中国舰船研究院;2015年

6 何洁和;面向POI的分布式结构化存储系统存储引擎设计与实现[D];电子科技大学;2014年

7 王晓;混合存储系统高效快照技术研究[D];北京理工大学;2015年

8 邱登峰;基于Hadoop可公共审计云存储的设计与实现[D];大连理工大学;2015年

9 张致元;电子商品存储系统设计与研究[D];复旦大学;2014年

10 刘秉煦;云存储环境下的混合存储算法研究与实现[D];上海交通大学;2015年

，

本文编号：588721