支持EB级存储的元数据服务器集群系统

发布时间：2018-01-19 20:39

  本文关键词： EB级 存储 元数据服务器集群 全局命名空间 一致性 负载迁移　出处：《中国科学:信息科学》2015年06期 　论文类型：期刊论文

【摘要】：随着全球数据总量的快速增长,PB级存储系统已无法满足未来应用对其数据容量的需求,通用、高扩展且易于部署的EB级存储系统的研发势在必行,其核心技术为元数据服务器集群技术.本文介绍了在p NFS和蓝鲸块设备文件系统EXFS基础上研发的支持EB级存储的蓝鲸元数据服务器集群技术.首先分析了支持EB级与PB级存储的元数据服务器集群系统的区别;然后介绍了蓝鲸元数据服务器集群原型系统的整体架构及其全局命名空间的分布策略;之后介绍了基于分布式日志的一致性元数据原子操作协议,和细粒度、低延时的元数据负载迁移两项关键技术;最后进行了测试.结果显示,集群系统中每台元数据服务器均可为EB级存储系统提供超过10000 OPS的元数据操作支持.
[Abstract]:With the rapid growth of global data volume, PB storage system can not meet the needs of future applications for its data capacity, general, high expansion and easy to deploy EB storage system research and development is imperative. The core technology is metadata server cluster technology. Based on NFS and EXFS, blue whale metadata server cluster technology supporting EB class storage is developed. Firstly, the metadata server cluster system supporting EB level storage and PB level storage is analyzed. The distinction between unification; Then the architecture of the blue whale metadata server cluster prototype system and its global namespace distribution strategy are introduced. Then it introduces the distributed log based uniform metadata atom operation protocol and two key technologies of fine-grained and low-delay metadata load migration. Finally, the test results show that each metadata server in the cluster system can provide more than 10000 OPS metadata operation support for EB level storage system.
【作者单位】： 中国科学院计算技术研究所;中国科学院大学;
【基金】：中国科学院战略性先导科技专项(批准号:XDA06010401)资助
【分类号】：TP311.13;TP333
【正文快照】： 1引言2014年4月IDC发布的白皮书The Digital Universe of Opportunities[1]显示,2013年全球新增数据总量4.4 ZB,并以每年40%的速度增长,预计到2020年全球新增数据总量将达到44 ZB.现有的企业级存储系统面临极大挑战,PB级的存储容量无法满足未来应用对存储系统的需求,研究通用

【参考文献】

相关期刊论文 前2条

1 刘建亮;张永乐;杨琳;郭明阳;刘振军;许鲁;;SAC:Exploiting Stable Set Model to Enhance CacheFiles[J];Journal of Computer Science & Technology;2014年02期

2 邵冰清;张军伟;郑彩平;张浩;刘振军;许鲁;;A Non-Forced-Write Atomic Commit Protocol for Cluster File Systems[J];Journal of Computer Science & Technology;2014年02期

【共引文献】

相关期刊论文 前1条

1 刘健;张军伟;张浩;邵冰清;杨洪章;刘振军;;蓝鲸元数据服务器集群的细粒度负载迁移[J];计算机研究与发展;2014年S1期

【二级参考文献】

相关期刊论文 前2条

1 邱元杰,刘心松,杨峰;一种高效的分布式并行数据库日志机制[J];计算机研究与发展;2004年11期

2 杨德志,黄华,张建刚,许鲁;大容量、高性能、高扩展能力的蓝鲸分布式文件系统[J];计算机研究与发展;2005年06期

【相似文献】

相关期刊论文 前10条

1 刘文洁;李战怀;;一种面向服务器集群的自律计算模型[J];计算机应用;2007年S1期

2 彭小娟;;服务器集群系统初探[J];黑龙江科技信息;2008年27期

3 李丽;;服务器集群技术探析[J];数字技术与应用;2013年10期

4 李波,潘清;一种新的服务器集群系统的设计与实现[J];计算机应用与软件;2005年10期

5 王玉峰;王怀民;刘必欣;;多层服务器集群的可用性能评价[J];计算机工程与科学;2007年08期

6 饶磊;汤小春;侯增江;;服务器集群负载均衡策略的研究[J];计算机与现代化;2013年01期

7 沈海华;鞠大鹏;沈美明;;基于马尔可夫过程模型的服务器集群数据可用性分析[J];小型微型计算机系统;2006年07期

8 崔师京;;服务器集群系统的负载均衡和安全性的设计[J];今日科苑;2007年12期

9 ;一句话新闻[J];每周电脑报;2000年11期

10 程艾芝;;异构服务器集群的一种通用负载平衡模型[J];现代计算机;2006年11期

相关重要报纸文章 前5条

1 宋家雨;不中用的集群[N];网络世界;2006年

2 陈翔;国内首台IBM Cell刀片服务器集群投入运行[N];中国计算机报;2007年

3 ;网络源头 e动无限[N];科技日报;2000年

4 周建平;虚拟真实的存储空间[N];中国计算机报;2002年

5 刘芳;服务器集群技术助力网络游戏[N];中国计算机报;2003年

相关硕士学位论文 前5条

1 于晋达;服务器集群技术在电视台视频编缉网络中的扩展应用[D];山东大学;2007年

2 郑伟;服务器集群系统高可用性研究及管理软件的实现[D];武汉大学;2004年

3 常新苗;服务器集群在自助服务系统中的应用与研究[D];华北电力大学（北京）;2003年

4 钱伟;元数据服务器集群负载均衡技术的研究[D];杭州电子科技大学;2012年

5 郭绪晶;服务器集群系统高可用模块设计与实现[D];北京邮电大学;2013年

，

本文编号：1445468