云存储系统中的网络缓存关键技术研究

发布时间：2017-07-02 14:08

  本文关键词：云存储系统中的网络缓存关键技术研究，由笔耕文化传播整理发布。

【摘要】：随着云计算技术的发展和对云计算技术应用的不断增长,云计算系统的规模也随之增长,从而造成了云计算系统分布于多个数据中心的情况。云存储子系统是云计算系统的重要组成部分,用于向虚拟机实例提供持久化的块级别存储服务。然而,当云计算系统中出现虚拟机实例与云存储子系统处在不同数据中心的情况时,由于跨数据中心间的网络带宽性能较差,将影响块级别云存储子系统的性能和虚拟机实例的稳定运行。因此,跨数据中心情况下的块级别云存储子系统性能下降问题成为一个亟待解决的课题。本文对云计算相关技术进行深入分析,并比较国内外现有网络缓存技术,设计并实现了适用于多节点的块级别网络缓存系统MN-cache。此缓存系统针对云计算系统中多虚拟机实例共享使用同一块级别网络存储卷,且虚拟机实例与块级别云存储子系统位于不同数据中心的情况。本文的主要研究工作如下:(1)设计并实现了MN-cache缓存系统,将缓存系统分为元数据服务器端及缓存客户端。元数据服务器端对所有缓存查询相关元数据进行处理并提供缓存命中查询服务。缓存客户端利用Linux Device Mapper机制实现缓存功能和缓存映射机制。元数据服务器端与缓存客户端间的数据通信包括缓存查询相关元数据的同步以及缓存命中情况的查询,所有数据通信均通过udp网络协议实现。(2)提出MN-cache缓存系统在Open Stack云计算系统中的应用方案。通过本地及远端缓存磁盘相较于Cinder块级别逻辑卷的性能优势以及数据中心内部局域网络的带宽优势,提升块级云存储服务Cinder的I/O性能。本文详细介绍了应用方案的系统架构,并设计了MN-cache缓存系统应用的实现策略。(3)对MN-cache缓存系统进行性能分析。本文根据缓存读写操作过程中各阶段的时间消耗构成情况进行性能分析,并对各阶段的时间消耗进行分类讨论。性能分析结论为:缓存系统的性能瓶颈为元数据服务器端与缓存客户端间的数据通信消耗,可增加缓存块大小以减少数据通信量。(4)对MN-cache缓存系统进行实验评估以验证性能分析结论,并对比未使用缓存和使用缓存两种情况下的实验数据。实验结果表明:对于读操作,缓存系统对网络存储设备的I/O性能有很大提升;对于写直达操作,缓存系统对网络存储设备的I/O性能有轻微损害;对于写回操作,在写回本地缓存磁盘时能够优化网络存储设备的I/O性能,而在写回远端缓存磁盘时将对网络存储设备的I/O性能有较大损害。
【关键词】：块级别存储 网络磁盘缓存 客户端缓存 云计算 云存储
【学位授予单位】：杭州电子科技大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP333
【目录】：

• 摘要5-7
• ABSTRACT7-12
• 第一章 绪论12-17
• 1.1 课题相关背景12-13
• 1.2 课题相关领域发展现状13-14
• 1.3 课题的意义14
• 1.4 论文的主要工作14-15
• 1.5 论文的组织与结构15-17
• 第二章 相关技术17-28
• 2.1 Open Stack云计算系统17-20
• 2.1.1 Open Stack系统架构17-18
• 2.1.2 计算组件Nova18-19
• 2.1.3 块级存储组件Cinder19-20
• 2.2 Linux Device Mapper机制20-23
• 2.2.1 Device Mapper内核架构20-21
• 2.2.2 Device Mapper对象21-22
• 2.2.3 Device Mapper实现原理简介22
• 2.2.4 Device Mapper的编程模型22-23
• 2.3 DM-cache23-24
• 2.4 i SCSI协议24-26
• 2.4.1 i SCSI实现原理24
• 2.4.2 i SCSI工作流程24-26
• 2.4.3 i SCSI存储系统架构26
• 2.5 Red Hat GFS集群文件系统26-27
• 2.5.1 GFS简介及其优势26-27
• 2.5.2 GFS的架构27
• 2.6 本章小结27-28
• 第三章 MN-cache缓存系统实现及其云平台中应用28-44
• 3.1 MN-cache缓存系统架构设计28-29
• 3.2 MN-cache缓存系统实现29-33
• 3.2.1 元数据服务器端实现29-30
• 3.2.2 缓存客户端实现30-32
• 3.2.3 数据通信实现32-33
• 3.3 MN-cache缓存系统的缓存策略33-36
• 3.3.1 缓存写入策略34-35
• 3.3.2 缓存块映射策略35-36
• 3.3.3 缓存块替换策略36
• 3.4 MN-cache缓存系统运行流程36-40
• 3.4.1 元数据服务器端运行流程36-37
• 3.4.2 缓存客户端读操作运行流程37-38
• 3.4.3 写直达策略下缓存客户端写操作运行流程38-39
• 3.4.4 写回策略下缓存客户端写操作运行流程39-40
• 3.5 MN-cache缓存系统在Open Stack中的应用40-43
• 3.5.1 MN-cache缓存系统在Open Stack中的应用架构40-41
• 3.5.2 MN-cache缓存系统应用的实现策略41-43
• 3.6 本章小结43-44
• 第四章 MN-cache缓存系统性能分析及实验评估44-52
• 4.1 MN-cache缓存系统性能分析44-46
• 4.1.1 读操作耗时分析44
• 4.1.2 写直达操作耗时分析44-45
• 4.1.3 写回操作耗时分析45-46
• 4.1.4 性能优化分析46
• 4.2 MN-cache缓存系统实验评估46-51
• 4.2.1 实验环境47
• 4.2.2 IOzone介绍47-48
• 4.2.3 读操作测试48-49
• 4.2.4 写直达操作测试49-50
• 4.2.5 写回操作测试50-51
• 4.3 本章小结51-52
• 第五章 总结和展望52-54
• 5.1 工作总结52
• 5.2 下一步工作及展望52-54
• 致谢54-55
• 参考文献55-59
• 附录59-60
• 详细摘要60-62

【参考文献】

中国期刊全文数据库 前1条

1 尹洋;刘振军;许鲁;;一种基于磁盘介质的网络存储系统缓存[J];软件学报;2009年10期

  本文关键词：云存储系统中的网络缓存关键技术研究，由笔耕文化传播整理发布。

，

本文编号：510197