Ceph对象文件系统添加任务迁移特性的研究

发布时间：2017-05-31 15:17

  本文关键词：Ceph对象文件系统添加任务迁移特性的研究，由笔耕文化传播整理发布。

【摘要】：随着云计算、移动互联网等技术的兴起与发展，每天新增信息的增长速度越来越快，人们对能够提供大容量存储的系统的需求越来越迫切。同时，由于越来越多的机密信息和个人隐私存储于网络存储系统中，人们对存储系统的安全性和可靠性也提出了更高的要求。然而，传统的基于块接口和文件接口的网络存储系统难以满足新时代的存储需求。基于对象的存储系统应运而生，它同时具备基于块和文件接口的文件系统的优点，可以有效的满足当前的存储需求。 对象是基于对象接口的存储系统的核心概念，由文件数据和文件物理层属性信息组合而成的，具有自描述性，基于对象的接口可以提供更加丰富的语义信息，使得系统的自动化和智能化管理成为可能。对象存储设备是对象文件系统最核心的硬件设备，有着较强的计算能力。然而，目前许多成熟的对象文件系统都没有充分利用对象存储设备的计算能力，Ceph就是这样的对象文件系统。 本文主要是基于Ceph文件系统，分析研究通过添加方法对象在Ceph系统中添加计算任务迁移的功能，以达到更加充分利用对象存储设备的目的。通过本文研究发现：添加了方法对象实现任务迁移的Ceph系统设备利用率更高、客户端网络负载有所缓解，且客户端体验更佳。本文的主要工作及成果有： (1)学习了对象存储系统的理论及架构，分析了在对象存储系统中添加主动存储的可能性，并确定了本文的研究方向——在Ceph中添加计算任务迁移特性； (2)了解Ceph的起源及发展，分析了Ceph文件系统的架构，对Ceph集群工作原理做了简单阐述； (3)对Ceph读写相关源码进行了深入剖析，，重点研究了Ceph集群节点间消息通信、Ceph对象分布策略、Ceph数据一致性维护、数据读及数据写等源码，厘清了整个读写请求的交互流程； (4)提出了在Ceph中添加方法对象实现任务迁移特性的方案，详细介绍了读写任务迁移的实现方法并分析了实施过程中需要考虑的主要问题； (5)详细描述了修改Ceph源码实现任务迁移特性的步骤及重难点、详细描述了三个有代表性的实验并分析总结了Ceph改进后的效果。
【关键词】：对象文件系统 对象存储设备 方法对象 任务迁移 主动存储
【学位授予单位】：武汉理工大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP333
【目录】：

• 摘要4-5
• ABSTRACT5-7
• 目录7-10
• 第1章 绪论10-20
• 1.1 传统存储接口10-12
• 1.1.1 直连式存储11
• 1.1.2 存储区域网11-12
• 1.1.3 网络附加存储12
• 1.2 基于对象接口的文件系统12-16
• 1.2.1 对象文件系统架构14-15
• 1.2.2 现有对象文件系统15-16
• 1.3 对象存储的优缺点及改进方向16-18
• 1.3.1 主动存储16-17
• 1.3.2 对象存储与主动存储的结合17-18
• 1.4 本文主要研究内容和组织结构18-20
• 第2章 Ceph 文件系统研究20-30
• 2.1 起源及发展20-21
• 2.2 提供接口21-24
• 2.2.1 块设备接口21-23
• 2.2.2 对象接口23-24
• 2.2.3 POSIX FS 接口24
• 2.3 系统主要模块24-29
• 2.3.1 监视器25-26
• 2.3.2 对象存储集群26-27
• 2.3.3 元数据服务器27-28
• 2.3.4 客户端28-29
• 2.3.5 网络29
• 2.4 本章小结29-30
• 第3章 Ceph 读写相关源码剖析30-49
• 3.1 Ceph 集群节点间消息通信30-33
• 3.2 Ceph 对象分布策略33-35
• 3.3 数据读35-39
• 3.4 数据写39-42
• 3.5 维护数据一致性操作42-47
• 3.5.1 OSD 中对象数据的一致性43-44
• 3.5.2 Monitor 维护集群信息的一致性44-47
• 3.6 Ceph 整体评价47-48
• 3.7 本章小结48-49
• 第4章 Ceph 中添加任务迁移特性的方案研究49-60
• 4.1 添加方法对象实现任务迁移49-51
• 4.2 添加/修改接口实现任务迁移51-54
• 4.2.1 读接口修改51-53
• 4.2.2 写接口修改53-54
• 4.3 任务迁移的实现方案54-56
• 4.3.1 读任务迁移的实现方案54-55
• 4.3.2 写任务迁移的实现方案55-56
• 4.4 实现任务迁移需要注意的问题56-59
• 4.4.1 新增消息的传递及处理问题56-57
• 4.4.2 方法对象的执行问题57-59
• 4.6 本章小结59-60
• 第5章 计算任务迁移的实现及性能测试60-74
• 5.1 读写任务迁移特性实现的重难点介绍60-65
• 5.1.1 添加对应的消息类型及操作参数60
• 5.1.2 实现客户端读写迁移函数60-61
• 5.1.3 添加任务迁移特性的核心代码61-65
• 5.2 性能测试65-73
• 5.2.1 实验环境66
• 5.2.2 实验及结果分析66-72
• 5.2.3 小结72-73
• 5.3 Ceph 添加任务迁移特性的优点73
• 5.4 本章小结73-74
• 第6章 总结与展望74-76
• 6.1 总结74-75
• 6.2 展望75-76
• 致谢76-77
• 参考文献77-79

【参考文献】

中国期刊全文数据库 前1条

1 靳超,郑纬民,张悠慧;主动存储系统结构[J];计算机学报;2005年06期

  本文关键词：Ceph对象文件系统添加任务迁移特性的研究，由笔耕文化传播整理发布。

本文编号：409908