面向大数据分析的分布式文件系统关键技术

发布时间：2019-05-09 09:15

【摘要】：大数据时代的来临使数据分析和处理能力成为数据中心和互联网公司日益倚重的技术手段.信息规模的扩大和数据结构的多样化,使海量数据存储成为大数据分析研究的热点.传统的分布式文件系统在扩展性、可靠性和数据访问性能等方面难以满足新形势下的需求.设计并实现了一个面向大数据分析、专为大规模集群应用的分布式文件系统Clover.该系统采用基于目录划分和一致性Hash映射的名字空间管理方法,解决了元数据扩展性问题;通过改进的两阶段提交协议,保证了多元数据服务器下分布式元数据操作的一致性;提出了基于共享存储池的高可用机制,通过热备和全局状态恢复机制提高了元数据的可靠性.评测结果表明,Clover的元数据处理能力随服务器的数量线性增长,增加单个服务器的元数据操作性能平均提升了5.13%~159.32%.由于名字空间管理和分布式事务的开销,多元数据服务器会导致复杂操作的性能下降,但是这种下降的幅度很小(小于10%).与HDFS相比,Clover的文件读写带宽与之接近,并能够保证在元数据服务器失效后文件系统快速恢复,适合于构建高可扩展和高可用的存储系统.
[Abstract]:......
【作者单位】： 中国科学院计算技术研究所计算机应用研究中心;中国科学院大学;中国科学院信息工程研究所;腾讯公司数据平台部;
【基金】：国家“八六三”高技术研究发展计划基金项目(2013AA013204) 中国科学院先导专项基金项目(XDA06030200) 国家自然科学基金项目(60903047) 国家科技支撑计划基金项目(2012BAH46B03)
【分类号】：TP333;TP316.4

【参考文献】

相关期刊论文 前2条

1 冯幼乐;朱六璋;;CEPH动态元数据管理方法分析与改进[J];电子技术;2010年09期

2 熊劲,范志华,马捷,唐荣锋,李晖,孟丹;DCFS2的元数据一致性策略[J];计算机研究与发展;2005年06期

【共引文献】

相关期刊论文 前10条

1 薛志强;刘鹏;文艾;周游;许闯;;分布式文件系统管理策略研究[J];电脑知识与技术;2011年01期

2 蒙安泰;;分布式文件系统中元数据管理机制的研究[J];电脑知识与技术;2011年35期

3 海深;陆阳;袁菲;;嵌入式存储系统恢复机制的设计与实现[J];计算机工程;2006年24期

4 张军伟;贾瑞勇;贾亚军;张建刚;许鲁;;蓝鲸集群文件系统中资源交互一致性协议[J];计算机工程;2008年11期

5 海深;周燕艳;;嵌入式文件系统故障恢复机制设计[J];计算机工程与设计;2009年09期

6 海深;周燕艳;;嵌入式文件系统一致性设计[J];铜陵学院学报;2006年04期

7 周燕艳;海深;;基于FAT16元数据一致性的设计[J];铜陵学院学报;2010年05期

8 陈慧杰;李建伟;;动态散列目录扩展算法的研究[J];太原科技大学学报;2013年05期

9 ;Design and Implementation of Two-Level Metadata Server in Small-Scale Cluster File System[J];Wuhan University Journal of Natural Sciences;2006年06期

10 吴红莉;尹宝林;向刚;赵霞;;分布式存储环境下工作流相关数据的一致性更新[J];系统仿真学报;2009年08期

相关博士学位论文 前4条

1 岳利群;基于分布式存储的虚拟地理环境关键技术研究[D];解放军信息工程大学;2011年

2 杨德志;分布式文件系统可扩展元数据服务关键问题研究[D];中国科学院研究生院（计算技术研究所）;2008年

3 黄玉龙;基于GPU的查询技术并行化研究[D];华南理工大学;2013年

4 刘勇;基于GPU的内存数据库索引技术研究[D];华南理工大学;2013年

相关硕士学位论文 前10条

1 蒲廷志;面向IPTV的分布式文件系统资源定位与调度模块设计与实现[D];电子科技大学;2011年

2 海深;嵌入式系统的存储卡接口技术研究[D];合肥工业大学;2006年

3 王志明;容灾抗毁系统中数据一致性检测及快速恢复方法[D];四川大学;2006年

4 潘磊颖;多元数据服务器环境下的元数据管理研究[D];华中科技大学;2007年

5 栾亚建;分布式文件系统元数据管理研究与优化[D];华南理工大学;2010年

6 黄斌;并行文件存储系统关键技术的研究[D];华南理工大学;2012年

7 方圆;基于对象存储元数据管理策略的研究与实现[D];解放军信息工程大学;2012年

8 匡士杰;云存储环境下分布式文件系统的副本策略研究[D];电子科技大学;2013年

9 张得震;基于Hadoop的分布式文件系统优化技术研究[D];兰州交通大学;2013年

10 王小强;一种基于消息重排序和消息数目检验消息日志恢复方法[D];山东大学;2013年

【二级参考文献】

相关博士学位论文 前1条

1 黄华;蓝鲸分布式文件系统的资源管理[D];中国科学院研究生院（计算技术研究所）;2005年

【相似文献】

相关期刊论文 前10条

1 刘伟;刘露;陈荦;钟志农;;海量遥感影像数据存储技术研究[J];计算机工程;2009年05期

2 何公明;张元涛;;面向数字媒体的高性能分布式存储系统的研究与应用[J];广播电视信息;2009年10期

3 许春聪;黄小猛;吴诺;孙宁伟;杨广文;;分布式文件系统存储介质评测与分析[J];计算机学报;2010年10期

4 吴英;谢广军;刘t，

本文编号：2472653