一种面向高性能计算的分布式对象存储系统

发布时间：2019-06-13 22:19

【摘要】：现有分布式文件存储系统存在数据组织低效和访问语义冗余等问题,严重限制了系统性能。为此,借鉴对象存储思想,设计面向高性能计算的分布式对象存储系统。分离数据访问和数据管理,实现更精简高效的访问语义,同时采用分布式全局对象数据组织方式,运用基于内存的元数据管理方法提升系统性能。实验结果表明,在大规模并发访问时,该系统的读/写聚合带宽相比Lustre系统分别提升22.5%和50.4%,文件创建、删除性能分别达到Lustre系统的2.15倍和5.13倍。此外,该系统还具有拟线性的数据读/写和元数据管理功能,可扩展性较好。
[Abstract]:The existing distributed file storage system has some problems, such as inefficient data organization and access semantic redundancy, which seriously limits the performance of the system. For this reason, a distributed object storage system for high performance computing is designed by using the idea of object storage for reference. Data access and data management are separated to achieve more concise and efficient access semantics. At the same time, distributed global object data organization is adopted, and memory-based metadata management method is used to improve the performance of the system. The experimental results show that the read / write aggregation bandwidth of the system is 22.5% and 50.4% higher than that of the Lustre system, and the file creation and deletion performance is 2.15 times and 5.13 times of that of the Lustre system, respectively. In addition, the system also has quasilinear data reading / writing and metadata management functions, and has good scalability.
【作者单位】： 江南计算技术研究所;
【基金】：国家高技术研究发展计划项目(2013AA013203,2013AA01A210)
【分类号】：TP333;TP38

【相似文献】

相关期刊论文 前10条

1 周功业;雷伟;陈进才;;基于对象存储系统中的热点数据平衡策略[J];华中科技大学学报(自然科学版);2007年12期

2 刘群;冯丹;李坚;;基于对象存储系统的负载均衡模型分析[J];武汉理工大学学报;2009年18期

3 陶伟，，麦中凡;基于虚存映射的对象存储系统的设计与实现[J];计算机学报;1997年06期

4 谭支鹏;冯丹;;基于对象的存储系统对象迁移策略[J];计算机科学;2006年06期

5 谭支鹏;冯丹;;对象存储系统形式化研究[J];计算机科学;2006年12期

6 王芳;张顺达;冯丹;曾令仿;;对象存储系统中的柔性对象分布策略[J];华中科技大学学报(自然科学版);2007年03期

7 王慧丽;冯丹;覃灵军;;基于对象存储系统中属性管理的研究与实现[J];计算机应用研究;2007年11期

8 王芳;陈亮;;对象存储系统中基于负载均衡的设备选择算法[J];华中科技大学学报(自然科学版);2007年10期

9 王永魁;朱兰娟;;对象存储系统的研究[J];计算机工程;2007年24期

10 宋健;刘川意;鞠大鹏;汪东升;;基于对象存储系统中多维服务质量保证的设计与实现[J];计算机工程与设计;2008年03期

相关会议论文 前5条

1 肖亮;谢长生;魏沁祺;李馨;;基于属性控制的对象存储系统[A];2008'中国信息技术与应用学术论坛论文集（二）[C];2008年

2 单颖;姚念民;赵建明;;基于对象存储系统体系结构的研究[A];第15届全国信息存储技术学术会议论文集[C];2008年

3 陶伟;麦中凡;;MIDS引擎的对象存储系统[A];数据库研究与进展95——第十三届全国数据库学术会议论文集[C];1995年

4 朱立谷;孙志伟;任勇;张雷;彭建峰;杨柳;阳小珊;李强;;基于内容的对象存储技术的研究[A];第15届全国信息存储技术学术会议论文集[C];2008年

5 高媛;庄严;朱坎;郑振楣;石树刚;;os的虚存技术与双缓冲机制相结合—Sambase中对象存储系统的新奉献[A];数据库研究与进展95——第十三届全国数据库学术会议论文集[C];1995年

相关重要报纸文章 前1条

1 中兴通讯;云存储铺就海量数据之路[N];通信产业报;2011年

相关博士学位论文 前3条

1 罗益辉;海量对象存储系统数据组织算法的研究[D];华中科技大学;2006年

2 吴晨涛;对象存储系统中热点数据的研究[D];华中科技大学;2010年

3 曾令仿;基于对象的网络存储智能处理方法研究[D];华中科技大学;2006年

相关硕士学位论文 前10条

1 杨军;基于OpenStack对象存储的性能及安全性研究[D];闽南师范大学;2016年

2 陈亮;对象存储系统的客户端设计和负载均衡研究[D];华中科技大学;2007年

3 朱尧;对象存储系统安全检测技术的研究[D];华中科技大学;2009年

4 戴毅;基于对象存储系统负载均衡技术研究[D];华中科技大学;2007年

5 张伟;对象存储系统中数据通道的设计与实现[D];华中科技大学;2008年

6 张顺达;对象存储系统的元数据管理[D];华中科技大学;2006年

7 衣国垒;基于中心节点架构的大规模数据对象存储系统[D];清华大学;2013年

8 田亚坤;基于对象存储系统中元数据管理方法的研究[D];哈尔滨工程大学;2010年

9 卢锦;对象存储系统中数据私密性保护与共享[D];华中科技大学;2012年

10 刘佳;基于对象相关性的缓存策略的设计与实现[D];华中科技大学;2009年

本文编号：2498858