Ceph分布式文件系统的研究及性能测试

发布时间：2017-08-04 04:27

  本文关键词：Ceph分布式文件系统的研究及性能测试

  更多相关文章： Ceph分布式文件系统 CRUSH算法 RADOS 系统性能优化

【摘要】：分布式文件系统作为分布式系统的存储子系统，能够有效的解决海量数据存储的I/O瓶颈问题，成为了目前业界研究的热点。Ceph分布式文件系统的第一个版本于2012年6月发布，作为一个新兴的分布式文件系统，系统的架构特点、结构特征、性能、可用性和扩展性等各个方面都亟需测试、验证与研究。 本文以Ceph分布式文件系统为研究对象，首先对文件系统的架构以及系统原型中的两个关键技术：CRUSH算法和RADOS对象存储服务进行了详细的分析，研究了它们对系统性能和扩展性的影响；然后根据之前的分析研究结果搭建测试环境并设计系统的测试用例，对系统的性能、可用性以及扩展性进行了全面的测试。最后，根据研究测试结果提出新的Journal存储方案和新的集群网络拓扑结构，并对优化过的系统做进一步测试，从而验证优化是否正确。 测试结果表明，Ceph分布式文件系统具有高可用性、高可扩展性以及优良的性能，文中所提出的两个集群部署优化方案也确实提高了系统的性能。
【关键词】：Ceph分布式文件系统 CRUSH算法 RADOS 系统性能优化
【学位授予单位】：西安电子科技大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP333
【目录】：

• 摘要3-4
• Abstract4-7
• 第一章 绪论7-11
• 1.1 选题背景及意义7-8
• 1.1.1 分布式存储系统研究背景7-8
• 1.1.2 分布式存储系统测试的研究背景及意义8
• 1.2 国内外现状分析8-9
• 1.3 论文工作内容9-10
• 1.4 论文组织结构10-11
• 第二章 分布式文件系统概述11-21
• 2.1 分布式文件系统基本概念11-14
• 2.1.1 异常11-13
• 2.1.2 副本一致性13
• 2.1.3 衡量分布式系统的标准13-14
• 2.2 分布式文件系统关键技术14-18
• 2.2.1 数据分布14-15
• 2.2.2 副本控制15-16
• 2.2.3 集群可扩展性16-18
• 2.3 Ceph 分布式文件系统介绍18-19
• 2.4 本章小结19-21
• 第三章 Ceph文件系统测试需求分析21-39
• 3.1 Ceph 文件系统分析21-31
• 3.1.1 CRUSH 算法研究分析21-27
• 3.1.2 可靠自治的分布式对象存储集群27-31
• 3.2 测试业务流程31-33
• 3.3 测试需求分析33-37
• 3.3.1 硬件需求分析33-35
• 3.3.2 功能测试需求分析35-36
• 3.3.3 性能测试与系统调优需求分析36
• 3.3.4 网络部署及集群配置需求分析36-37
• 3.4 本章小结37-39
• 第四章 Ceph文件系统测试设计39-51
• 4.1 测试用例设计方法39-46
• 4.1.1 系统可用性用例设计方法39-42
• 4.1.2 系统扩展性用例设计方法42-43
• 4.1.3 系统优化用例设计方法43-46
• 4.2 测试用例设计46-50
• 4.2.1 RADOS 接口基准测试用例设计46-47
• 4.2.2 Ceph RBD 接口基准测试用例设计47-48
• 4.2.3 RADOS 集群优化用例分析与设计48-49
• 4.2.4 集群扩展性用例分析与设计49-50
• 4.3 本章小结50-51
• 第五章 Ceph文件系统测试优化及结果分析51-67
• 5.1 测试环境准备51-55
• 5.1.1 Ceph 测试集群软硬件配置51-52
• 5.1.2 Ceph 测试集群网络配置52
• 5.1.3 测试集群搭建过程52-55
• 5.2 集群环境测试55-56
• 5.3 集群性能测试56-65
• 5.3.1 RADOS 对象存储接口测试56-61
• 5.3.2 Ceph RBD 存储接口测试61-65
• 5.4 测试结果分析65-66
• 5.5 本章小结66-67
• 第六章 结束语67-69
• 6.1 论文工作总结67-68
• 6.2 后续工作展望68-69
• 致谢69-71
• 参考文献71-73

【相似文献】

中国期刊全文数据库 前10条

1 张子鹏;刘海涛;管海兵;;采用信任管理的分布式文件系统TrustFs[J];计算机工程;2009年01期

2 陈建荣;傅黎;;Novell网络环境下分布式文件系统的设计与实现[J];海军工程大学学报;1993年03期

3 李相娜;曹强;赵旺;魏沁祺;;加快分布式文件系统元数据访问的研究与实现[J];微处理机;2008年02期

4 刘伟;刘露;陈荦;钟志农;;海量遥感影像数据存储技术研究[J];计算机工程;2009年05期

5 何公明;张元涛;;面向数字媒体的高性能分布式存储系统的研究与应用[J];广播电视信息;2009年10期

6 周建强;薛行;徐希豪;杨培根;孙钟秀;;分布式文件系统NDFS的设计和实现[J];计算机研究与发展;1990年07期

7 许春聪;黄小猛;吴诺;孙宁伟;杨广文;;分布式文件系统存储介质评测与分析[J];计算机学报;2010年10期

8 李桂萍;;云计算的两大特性:虚拟化、分布式[J];通信世界;2011年16期

9 张维庆,袁宏春;基于E-mail的分布式文件系统(MDFS)[J];福建电脑;2004年07期

10 黄华,张建刚,许鲁;蓝鲸分布式文件系统的分布式分层资源管理模型[J];计算机研究与发展;2005年06期

中国重要会议论文全文数据库 前8条

1 邢海韬;黄孜祺;肖健;;应用动态管理技术优化海量数据管理[A];广西计算机学会2008年年会论文集[C];2008年

2 洪穗;;微软WINDOWS Server 2003 R2分布式文件系统解决方案分析[A];中国新闻技术工作者联合会2008年学术年会论文集（上）[C];2008年

3 华清;黄林鹏;;基于分片、松耦合的分布式文件系统的设计与实现[A];2006年全国开放式分布与并行计算学术会议论文集（二）[C];2006年

4 朱平;朱建涛;高剑刚;蒋金虎;;高性能计算存储关键技术研究[A];2010年第16届全国信息存储技术大会（IST2010）论文集[C];2010年

5 付伟;肖侬;卢锡城;;GridDenFS:一种基于聚集与虚拟视图的网格文件系统[A];第二十四届中国数据库学术会议论文集（研究报告篇）[C];2007年

6 程果;陈荦;景宁;赵亮;左怀玉;;一种遥感影像的层次化组织分布式存储管理方法[A];第二十五届中国数据库学术会议论文集（一）[C];2008年

7 周大;钱岭;郭磊涛;齐骥;;HugeTable:一种面向电信行业的云数据仓库[A];CCF NCSC 2011——第二届中国计算机学会服务计算学术会议论文集[C];2011年

8 张学红;刘志芳;;云存储技术研究与探讨[A];全国数字媒体技术专业建设与人才培养研讨会论文集[C];2011年

中国重要报纸全文数据库 前10条

1 ;分布式文件系统一瞥[N];网络世界;2002年

2 王春海 刘立;分布式文件系统在网络中的应用[N];电脑报;2004年

3 本报记者 于翔;“大数据”的大承诺[N];网络世界;2010年

4 丘永萍;云存储是一种服务[N];中国城乡金融报;2010年

5 本报记者 刘箐箐;Informatica：大数据带来大机遇[N];计算机世界;2011年

6 孙定;云计算、大数据与Hadoop[N];计算机世界;2011年

7 本报记者 马文方;Hadoop：云中起舞的小象[N];中国计算机报;2010年

8 中兴通讯;云存储铺就海量数据之路[N];通信产业报;2011年

9 ;Windows Server2003的10个特点[N];计算机世界;2003年

10 艾文;Windows Server 2003值得期待[N];中国计算机报;2003年

中国博士学位论文全文数据库 前9条

1 赵铁柱;分布式文件系统性能建模及应用研究[D];华南理工大学;2011年

2 李彭军;医学影像云服务平台基础架构研究与实践[D];南方医科大学;2011年

3 林琳;基于网格数据交换区的网格作业性能优化[D];吉林大学;2011年

4 黄华;蓝鲸分布式文件系统的资源管理[D];中国科学院研究生院（计算技术研究所）;2005年

5 郭羽成;MPI高性能云计算平台关键技术研究[D];武汉理工大学;2013年

6 杨永全;饮食健康中的食物体积估算云计算技术研究[D];中国海洋大学;2013年

7 涂旭东;基于对象的并行文件系统接口语义扩展研究[D];华中科技大学;2011年

8 李冰;云计算环境下动态资源管理关键技术研究[D];北京邮电大学;2012年

9 陈军;基于G/S模式的空间分析云服务关键技术研究[D];成都理工大学;2012年

中国硕士学位论文全文数据库 前10条

1 龚高晟;通用分布式文件系统的研究与改进[D];华南理工大学;2010年

2 李书鹏;分布式文件系统在云存储环境下的若干问题研究[D];中国科学技术大学;2011年

3 周昶;基于对象分布式文件系统的存储缓存研究[D];杭州电子科技大学;2011年

4 许敏;分布式文件系统容错机制的研究与实现[D];电子科技大学;2012年

5 景蕊;分布式文件系统下数据校验策略的研究与改进[D];吉林大学;2013年

6 李颖;基于分布式文件系统的农业数据云存储研究[D];山东农业大学;2013年

7 王敬轩;分布式文件系统存储效率优化研究[D];华中科技大学;2013年

8 廖舒恬;安全对象分布式文件系统的设计与实现[D];华中科技大学;2013年

9 赵黎斌;面向云存储的分布式文件系统关键技术研究[D];西安电子科技大学;2011年

10 胡振欣;分布式文件系统中的软件开发管理[D];上海交通大学;2012年

，

本文编号：617762