GlusterFS分布式存储系统在云渲染平台中的应用研究

发布时间：2017-05-28 18:04

  本文关键词：GlusterFS分布式存储系统在云渲染平台中的应用研究，，由笔耕文化传播整理发布。

【摘要】：渲染是将模型生成图像的过程,在渲染任务的整个过程中,渲染节点需要不断的和存储节点进行数据交互,当渲染系统中的集群规模越大时,存储系统的I/O并发数据处理负载越大。所以存储系统的I/O性能和数据的可靠性对渲染系统的任务执行具有非常大的影响,存储性能低下将直接影响渲染任务的效率。本课题从渲染系统的计算特点出发,构建具有适用于渲染平台的高性能存储系统,其主要的研究内容如下:(1)云渲染平台是24小时不间断服务平台,从渲染平台特点出发,分析适合于云渲染平台的高性能分布式存储系统,其需满足平台不停服弹性扩展,且能实现平台数据的高速读写需求。(2)从元数据中心服务器出发,分析中心化和去中心化分布式存储系统的架构特点和数据操作特性,将GlusterFS分布式系统应用于云渲染平台,研究如何通过灵活的模块化设计和有效的弹性卷分布构建出适用于云渲染平台的存储系统,并对其进行性能优化。(3)GlusterFS文件系统提供了统一命名空间、高性能、高可用、高扩展的数据存储解决方案,但是只面向Linux和Unix的内核模块及软件,本课题将研究通过标准文件协议访问存储系统,并将CTDB与文件系统结合,实现更加简便高效的高可用分布式存储系统。(4)GlusterFS在诸多方面都具有突出的优势,但是由于结构特点,存储系统本身不具备负载均衡功能,为了提高系统整体性能,将负载均衡技术LVS/DR应用于系统中,满足系统的大规模高并发数据访问。目前各个渲染服务提供者都在研究尝试各种存储解决方案,如何设计出一个合理高效的存储方案仍需要不断的尝试和实践。本课题的研究内容基于实际的应用出发,将GlusterFS存储应用于渲染领域,对其优越性和可行性进行实践验证,并通过实践提出一些性能优化措施。但是对于一个高效、安全、可靠的存储系统来说,本研究还不够,系统中数据服务器节点的监控、数据压缩、数据一致性等仍需要继续研究。
【关键词】：云渲染 云存储 分布式文件系统 GlusterFS
【学位授予单位】：江苏科技大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP333
【目录】：

• 摘要6-7
• Abstract7-12
• 第1章 绪论12-19
• 1.1 课题研究背景12-13
• 1.2 国内外研究现状13-16
• 1.3 技术方案选择分析16-17
• 1.4 课题研究主要内容17-18
• 1.5 论文的组织结构18-19
• 第2章 云存储技术19-27
• 2.1 云存储结构19-21
• 2.2 共享存储模型21-23
• 2.2.1 NAS21-22
• 2.2.2 SAN22-23
• 2.2.3 NSA和SAN对比分析23
• 2.3 存储网络23-24
• 2.3.1 TCP/IP存储网络23-24
• 3.3.2 Infiniband RDMA24
• 2.4 网络文件系统24-26
• 2.4.1 NFS24-25
• 2.4.2 CIFS25-26
• 2.5 本章小结26-27
• 第3章 分布式文件系统研究27-35
• 3.1 中心化存储系统27
• 3.1.1 中心化存储系统概述27
• 3.1.2 元数据27
• 3.2 去中心化存储系统27-28
• 3.2.1 去中心化存储系统概述27-28
• 3.2.2 亚马逊无中心平台28
• 3.3 MooseFS28-32
• 3.3.1 系统框架28-30
• 3.3.2 MooseFS的数据读写操作30-31
• 3.3.3 系统特征31-32
• 3.4 GlusterFS32-34
• 3.4.1 系统概述32-33
• 3.4.2 系统框架33-34
• 3.4.3 系统优势34
• 3.5 本章小结34-35
• 第4章 云渲染平台分布式存储系统设计35-61
• 4.1 云渲染平台35-39
• 4.1.1 平台框架及渲染任务流程35-36
• 4.1.2 用户服务访问接36
• 4.1.3 渲染任务管理平台36-37
• 4.1.4 渲染集群37-38
• 4.1.5 渲染云存储38-39
• 4.2 云渲染分布式存储系统功能39-40
• 4.3 云渲染平台分布式存储框架设计40-41
• 4.4 GlusterFS分布式文件系统应用设计41-51
• 4.4.1 GlusterFS可行性分析41-43
• 4.4.2 GlusterFS系统设计43-44
• 4.4.3 GlusterFS集群分布设计44-46
• 4.4.4 分布式弹性哈希算法46-51
• 4.5 基于GlusterFS的分布式存储系统高可用性研究51-56
• 4.5.1 Libgfagi接.应用51-54
• 4.5.2 GlusterFS高可用性实现方式54-55
• 4.5.3 CTDB结合GlusterFS的应用55-56
• 4.6 基于GlusterFS的分布式存储系统负载均衡研究56-59
• 4.6.1 LVS负载均衡技术56-57
• 4.6.2 LVS/DR模式57-59
• 4.7 性能优化59-60
• 4.8 本章小结60-61
• 第5章 云渲染平台GlusterFS分布式存储系统实现与性能测试61-75
• 5.1 存储环境硬件配置61
• 5.2 存储环境部署61-65
• 5.2.1 CentOS操作系统61-63
• 5.2.2 GluserFS服务安装与配置63-65
• 5.2.3 LVS/DR服务安装65
• 5.3 GlusterFS性能优化65-68
• 5.4 存储访问搭建68-69
• 5.5 GlusterFS系统测试69-71
• 5.5.1 实验环境69-70
• 5.5.2 存储系统Ping_Pong测试70
• 5.5.3 存储系统读写测试70-71
• 5.5.4 LVS负载均衡测试71
• 5.6 GlusterFS与MooseFS性能比对71-74
• 5.6.1 测试环境配置71-72
• 5.6.2 测试影响因素72
• 5.6.3 测试结果及性能分析72-74
• 5.7 本章小结74-75
• 总结75-76
• 参考文献76-79
• 攻读学位期间发表的学术论文79-80
• 致谢80

【参考文献】

中国期刊全文数据库 前3条

1 赵跃龙;谢晓玲;蔡咏才;王国华;刘霖;;一种性能优化的小文件存储访问策略的研究[J];计算机研究与发展;2012年07期

2 张春明;芮建武;何婷婷;;一种Hadoop小文件存储和读取的方法[J];计算机应用与软件;2012年11期

3 王德政;申山宏;周宁宁;;云计算环境下的数据存储[J];计算机技术与发展;2011年04期

中国硕士学位论文全文数据库 前1条

1 江柳;HDFS下小文件存储优化相关技术研究[D];北京邮电大学;2011年

  本文关键词：GlusterFS分布式存储系统在云渲染平台中的应用研究，由笔耕文化传播整理发布。

本文编号：403146