Ceph存储系统纠删码覆盖写的设计与实现

发布时间：2017-10-21 00:33

  本文关键词：Ceph存储系统纠删码覆盖写的设计与实现

  更多相关文章： 分布式存储 纠删码 覆盖写

【摘要】：在云计算和大数据的时代,海量数据已经成为企业的核心资产,分布式存储系统作为承载数据的基础架构,通常构建于通用的服务器。为了应对通用硬件的常态化失效,分布式存储通过多副本机制容忍硬件和系统错误,多副本在大规模的并行计算场景可以得到很好的性能,但带来多倍的存储开销。纠删码以更小的存储代价,实现更高的容错率,可以有效的降低存储成本。现有的分布式存储中纠删码都只支持追加写,不能任意的覆盖写,通常应用与冷数据存储场景。为了使纠删码能够应用于多读多写的有修改场景,本文以开源分布式系统Ceph为基础,设计并实现了纠删码的覆盖写系统。该系统支持纠删码的任意位置的偏移写,更新过程保持数据的强一致性,性能测试后对写流程的提出优化方案,提升系统的读写吞吐量。本文的工作和研究成果如下：1.基于分布式存储CEPH,设计并实现了纠删码覆盖写系统,更新过程保证事务性,所有节点要么全部更新,要不全部不更新,更新失败时自动回滚,保持数据强一致性。在节点失效时自动恢复,不需要人工干预;2.利用自适应的覆盖写方案,支持混合写场景。结合重构写更新和增量写更新的特点,根据覆盖写大小自适应选择最优更新方案,从整体上降低覆盖写的磁盘开销和网络开销;3.利用缓存机制减少覆盖写流程,大大提高了覆盖写效率。纠删码覆盖写的校验块更新需要经过预读然后再写,在对同一个文件频繁覆盖写时,读写加锁严重降低了整体效率。通过缓存数据块,缓存命中时可以直接跳过预读过程。同时,设计了客户端隔离的缓存,隔离不同更新大小的客户端,有利于提高缓存命中率;4.利用KeyValue存储管理覆盖写的临时对象,提高了空间利用率,加速空间的分配与回收。有效的提升临时状态数据的读效率,提升整体的读写性能。
【关键词】：分布式存储 纠删码 覆盖写
【学位授予单位】：南京大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP333
【目录】：

• 摘要4-5
• Abstract5-11
• 第一章 绪论11-17
• 1.1 引言11-13
• 1.2 分布式存储13-14
• 1.3 分布式存储的容错14-15
• 1.4 本文工作15-17
• 第二章 相关工作17-30
• 2.1 开源分布式存储17-18
• 2.1.1 分布式文件系统HDFS17
• 2.1.2 分布式文件系统GlusterFS17-18
• 2.1.3 分布式存储Sheepdog18
• 2.2 分布式存储Ceph18-25
• 2.2.1 核心组件18-20
• 2.2.2 数据的映射算法20-22
• 2.2.3 数据一致性22-23
• 2.2.4 数据的落盘23-25
• 2.3 分布式存储容错策略25-29
• 2.3.1 纠删码的应用26-27
• 2.3.2 纠删码的覆盖写27-29
• 2.4 小结29-30
• 第三章 纠删码覆盖写的设计与实现30-49
• 3.1 引言30
• 3.2 系统设计目标30-32
• 3.3 覆盖写方案32-41
• 3.3.1 设计32-34
• 3.3.2 详细写流程34-40
• 3.3.3 读流程40-41
• 3.4 数据一致性维护41-46
• 3.4.1 数据回滚41-44
• 3.4.2 数据恢复44-46
• 3.5 实验与分析46-47
• 3.6 小结47-49
• 第四章 纠删码覆盖写的优化49-58
• 4.1 引言49-50
• 4.2 编码方案自适应50-53
• 4.2.1 Ceph纠删码条带化50-51
• 4.2.2 更新方法自适应51-53
• 4.2.3 性能测试与分析53
• 4.3 覆盖写缓存设计53-56
• 4.4 临时对象存储的优化56-57
• 4.5 小结57-58
• 第五章 总结与展望58-60
• 5.1 总结58-59
• 5.2 展望59-60
• 参考文献60-63
• 简历与科研成果63-64
• 致谢64-65

【相似文献】

中国期刊全文数据库 前10条

1 王征;刘心松;李美安;;企业信息分布式存储的热点处理策略[J];计算机集成制造系统;2006年09期

2 李磊;沈海斌;黄凯;严晓浪;Han Sangil;Ahmed A Jerraya;;分布式存储管理在多核设计中的高层建模[J];电子与信息学报;2008年11期

3 刘翔;汪海玲;;分布式存储中的一种数据放置策略[J];计算机与数字工程;2009年05期

4 陈卫卫;吴海佳;胥光辉;;分布式存储中文件分割的最优化模型[J];解放军理工大学学报(自然科学版);2010年04期

5 崔忠强;左德承;张展;;在云间可重构的分布式存储[J];系统工程理论与实践;2011年S2期

6 郝杰;逯彦博;刘鑫吉;夏树涛;;分布式存储中的再生码综述[J];重庆邮电大学学报(自然科学版);2013年01期

7 唐京伟;;基于云计算的分布式存储技术[J];中国传媒科技;2013年15期

8 郭栋;王伟;曾国荪;;基于一致性树分布的数据分布式存储方法[J];计算机应用;2013年12期

9 苏李亮;王云福;侯斌;;海量设计文档分布式存储及负载均衡的研究与实现[J];电信科学;2013年12期

10 谢然;;敢问存储之路在何方?见分布式存储摇曳在数据枝头[J];互联网周刊;2014年02期

中国重要会议论文全文数据库 前7条

1 苏李亮;王云福;侯斌;;海量设计文档分布式存储及负载均衡的研究与实现[A];2013电力行业信息化年会论文集[C];2013年

2 苏李亮;王云福;侯斌;;海量设计文档分布式存储及负载均衡的研究与实现[A];2013电力行业信息化年会论文集[C];2013年

3 郑文武;李先绪;黄植勤;邱红飞;;云存储关键技术[A];2012全国无线及移动通信学术大会论文集（下）[C];2012年

4 蒋轶林;郭淑琴;;分布式存储在数字集群移动通信系统中的应用[A];浙江省电子学会2013学术年会论文集[C];2013年

5 姜继忱;陈钢;;P2P之路——缔造“分布式对等”的Internet3.0[A];全面建设小康社会：中国科技工作者的历史责任——中国科协2003年学术年会论文集（下）[C];2003年

6 付伟;肖侬;卢锡城;;QoS感知的副本放置问题研究综述[A];第15届全国信息存储技术学术会议论文集[C];2008年

7 张彦;刘欣然;徐慧彬;;一种基于虚拟计算环境的分布式存储体系结构[A];2009全国计算机网络与通信学术会议论文集[C];2009年

中国重要报纸全文数据库 前8条

1 京东架构委员会主任 云平台首席架构师 系统技术部负责人 刘海锋;京东:分布式存储体系成为业务基石[N];中国信息化周报;2014年

2 《网络世界》记者 于翔;京东分布式存储体系研发历程[N];网络世界;2014年

3 《网络世界》记者 于翔;融合一体机投入大规模商用[N];网络世界;2013年

4 记者 余荣华;大数据，催生大变革[N];人民日报;2014年

5 本报记者 张佳星;新生产业布局如何“云”中索骥[N];科技日报;2014年

6 本报记者 甘露;物联网让管理更美妙[N];计算机世界;2013年

7 本报记者 郭涛;华为帮用户定制HANA一体机[N];中国计算机报;2013年

8 临江;手机浏览器,3G时代的采矿机？[N];人民邮电;2009年

中国博士学位论文全文数据库 前9条

1 吴思;容错分布式存储系统扩容机制研究[D];中国科学技术大学;2016年

2 胡q，

本文编号：1070285