基于可变长分块的分布式文件系统设计与实现

发布时间：2017-10-04 19:10

  本文关键词：基于可变长分块的分布式文件系统设计与实现

  更多相关文章： 固定长分块 可变长分块 分布式文件系统 随机写 元数据服务器

【摘要】：分布式文件系统受传统磁盘文件系统影响,大多使用固定大小的对象或者块来组织和管理文件。定长的分块不适合随机写或插入写,开销大且性能差,但典型的用户约有25%的文件操作是随机写。针对上述现状,提出一种基于内容的可变长文件分块方法,使用拉宾指纹算法对文件进行分块,并根据文件的内容标识文件块。为更准确地指定写类型,提高写性能,给出与POSIX语义兼容的写接口。通过修改Ceph实现一种新的分布式文件系统VarFS,提供文件的可变长分块并支持新的写接口。实验结果表明,由于减少网络数据传输量,VarFS在随机写延迟和带宽消耗量上比Ceph减少了1个~2个数量级。
【作者单位】： 武汉大学计算机学院;中国科学院计算技术研究所;
【关键词】： 固定长分块 可变长分块 分布式文件系统 随机写 元数据服务器
【基金】：国家“863”计划基金资助项目(2013AA12A301) 国家自然科学基金资助项目(61100020) 华为公司创新研究计划基金资助项目
【分类号】：TP333
【正文快照】： 1概述基于云的文件系统和文件存储服务,如Dropbox[1],Evernote[2]等为用户提供了一个可靠和便捷的方法, 使用户备份个人或工作文件到云存储服务器上,并在需要时及时更新这些文件。同时,云存储和基于云的文件系统已经成为适用于各种应用程序的基础层。例如,Facebook Messages(

【相似文献】

中国期刊全文数据库 前10条

1 熊文;喻之斌;须成忠;;几个常见分布式文件系统特征分析和性能对比(英文)[J];集成技术;2012年04期

2 李依桐;;云存储文件系统对比[J];计算机与现代化;2013年10期

3 赵铁柱;袁华强;;分布式文件系统性能研究[J];东莞理工学院学报;2014年01期

4 温东新;王雪娇;张展;钱军;张中兆;崔忠强;;海量下的分布式文件系统测试平台设计与实现[J];哈尔滨工业大学学报;2012年11期

5 师明;刘轶;唐歌实;;一种面向分布式文件系统的文件预取模型的设计与实现[J];计算机科学;2014年07期

6 程炜烨;;一种分布式文件系统的设计和实现[J];微处理机;2008年04期

7 马灿;孟丹;熊劲;;曙光星云分布式文件系统:海量小文件存取[J];小型微型计算机系统;2012年07期

8 周江;王伟平;孟丹;马灿;古晓艳;蒋杰;;面向大数据分析的分布式文件系统关键技术[J];计算机研究与发展;2014年02期

9 陈晓宇,苏中义;分布式文件系统中文件位置无关性的一个解决方案[J];计算机与现代化;2000年01期

10 薄怀祥;;分布式文件系统性能测试软件的设计[J];山东广播电视大学学报;2012年01期

中国重要会议论文全文数据库 前1条

1 罗志明;张大华;王电钢;常健;;电力分布式云存储关键技术研究[A];2012年电力通信管理暨智能电网通信技术论坛论文集[C];2013年

中国博士学位论文全文数据库 前1条

1 赵铁柱;分布式文件系统性能建模及应用研究[D];华南理工大学;2011年

中国硕士学位论文全文数据库 前10条

1 冷志强;基于分布式文件系统GlusterFS的横向扩展云存储的研究与实现[D];复旦大学;2014年

2 焦晨宇;可伸缩分布式文件系统及其应用[D];北京理工大学;2015年

3 牛升;分布式文件系统的负载均衡策略研究[D];电子科技大学;2014年

4 周昶;基于对象分布式文件系统的存储缓存研究[D];杭州电子科技大学;2011年

5 廖舒恬;安全对象分布式文件系统的设计与实现[D];华中科技大学;2013年

6 张轶彬;分布式文件系统客户端的设计与实现[D];上海交通大学;2011年

7 胡军杰;云平台下分布式文件系统评测技术研究[D];哈尔滨工业大学;2014年

8 张永胜;面向代理服务的分布式文件系统设计与实现[D];哈尔滨工业大学;2012年

9 赵黎斌;面向云存储的分布式文件系统关键技术研究[D];西安电子科技大学;2011年

10 李书鹏;分布式文件系统在云存储环境下的若干问题研究[D];中国科学技术大学;2011年

，

本文编号：972340