当前位置:主页 > 科技论文 > 计算机论文 >

GlusterFS的数据分布策略与性能优化研究

发布时间:2020-09-28 18:39
   随着信息化的飞速发展,数据使用量呈几何级数增长,对存储系统的容量,可扩展性,性能等要求不断提高。云存储伴随着云计算产生,它屏蔽了存储设备存取与管理方式上的差异,提供统一存储访问服务,根据应用特点要求自适应地调整存储调度机制,实现大规模存储的统一管理、高效应用,为用户提供高性能存储与访问支撑平台。分布式文件系统作为云存储系统的底层支撑技术,为云存储系统实现可扩展性、透明性、容错性、管理的灵活性等功能特性提供基础。 本文从云存储对分布式文件系统的技术需求出发,对几种典型的支持云存储的分布式文件系统进行分析和比较,对分布式文件系统性能方面的研究现状进行介绍。以典型的面向云存储的分布式文件系统GlusterFS为对象,对其体系结构、数据分布策略、读写操作流程、性能特性及其优化进行了深入研究。 首先对GlusterFS独特的模块化、堆栈式的架构进行了研究和分析,对其具有的线性扩展性、弹性卷管理、高可靠性等技术特性进行介绍。对GlusterFS分布式哈希卷、冗余卷、条带卷三种基本卷管理模式下的数据分布策略和实现机制进行研究,并着重对弹性哈希算法机制在GlusterFS中的实现进行了深入研究。 其次在理论分析的基础上,搭建实验环境,对GlusterFS的功能特性和性能进行了测试和验证。包括系统线性扩展能力,三种基本卷管理模式下的读写性能,默认分布式哈希卷模式下大文件和小文件的存储性能等。并对测试结果进行了比较和分析。 最后针对GlusterFS小文件存储性能不足进行了分析和改进,提出了一种小文件优先级排序合并分块写入策略和相关算法,实验结果证明了策略的有效性。
【学位单位】:国防科学技术大学
【学位级别】:硕士
【学位年份】:2013
【中图分类】:TP333
【部分图文】:

条带,遍历,函数,工程硕士学位


国防科学技术大学研究生院工程硕士学位论文参数,即 block_size,该值默认为 128KB;2. 通过函数 floor 计算将要读取文件的起始地址。具体函数为 rounded_start=floor (offset, stripe_size);3. 通过函数 roof 获得读文件的结束位置。具体函数为 rounded_end =roof(offset+size, stripe_size);4. 获得 stripe 条带数目。num_stripe = (rounded_end-rounded_start)/stripe_size;5. 开始遍历从相应 brick 提取数据,在循环部分,首先算的 frame_size,计算得到每次遍历取的数据的长度,一般为 128KB,最后部分可能小 128KB。当列参数准备好后,调用 STACK_WIND 函数进行读操作调用。4.4.4 功能验证创建 stripe 类型的卷,卷中加入 3 个 brick server,在条带卷客户端先一次性生成 6 个空文件,然后拷贝一个大小为 300MB 的文件到客户端。

GlusterFS的数据分布策略与性能优化研究


配置截

GlusterFS的数据分布策略与性能优化研究


配置截

【参考文献】

相关期刊论文 前10条

1 董守斌;赵铁柱;;面向搜索引擎的分布式文件系统性能分析[J];华南理工大学学报(自然科学版);2011年04期

2 金海,官象山,吴松,谢超;分布式存储系统中文件传输优化的设计与实现[J];华中科技大学学报(自然科学版);2005年01期

3 余庆;;分布式文件系统FastDFS架构剖析[J];程序员;2010年11期

4 谭支鹏;冯丹;;对象存储系统形式化研究[J];计算机科学;2006年12期

5 陈剑;龚发根;;一种优化分布式文件系统的文件合并策略[J];计算机应用;2011年S2期

6 赵跃龙;谢晓玲;蔡咏才;王国华;刘霖;;一种性能优化的小文件存储访问策略的研究[J];计算机研究与发展;2012年07期

7 张春明;芮建武;何婷婷;;一种Hadoop小文件存储和读取的方法[J];计算机应用与软件;2012年11期

8 张东;;云存储技术研究与应用[J];科研信息化技术与应用;2012年06期

9 王铃惠;李小勇;张轶彬;;海量小文件存储文件系统研究综述[J];计算机应用与软件;2012年08期

10 赵铁柱;董守斌;Verdi MARCH;Simon SEE;;面向并行文件系统的性能评估及相对预测模型[J];软件学报;2011年09期



本文编号:2829125

资料下载
论文发表

本文链接:https://www.wllwen.com/kejilunwen/jisuanjikexuelunwen/2829125.html


Copyright(c)文论论文网All Rights Reserved | 网站地图 |

版权申明:资料由用户c4c92***提供,本站仅收录摘要或目录,作者需要删除请E-mail邮箱bigeng88@qq.com