BlueOcean海量存储系统高并发客户端的设计与实现

发布时间：2020-02-18 12:22

【摘要】：随着信息量的飞速增长，如何高效地存储和处理海量数据成为了当今计算机科学面临的挑战。传统的文件系统在存储容量和性能的提升上已遇到瓶颈，分布式海量存储系统是未来存储发展的必然趋势，在此类系统中，良好的客户端设计对于存储系统的总体性能有着重要影响。 BlueOcean是基于对象存储技术实现的大规模分布式存储系统，具有性能高，容量大，可靠性强，管理简易等特性。该系统由单一元数据服务器和大量数据存储服务器构成，并通过客户端软件对应用软件提供POSIX访问接口，支持现有的绝大部分应用软件在其上透明运行。 本文对海量存储系统的关键技术与实现方案进行了深入的研究，并在此基础上针对BlueOcean存储系统设计并实现了高并发的客户端FuseAgent。本文的主要工作如下： (1)阐述了存储系统的架构演进，通过对典型海量存储系统的研究，分析了此类架构的关键技术。 (2)分析了目前客户端实现方案的缺陷，采用事件驱动模型设计了一个通用的高并发客户端。 (3)详细描述了高并发客户端中功能模块的具体实现。 (4)针对高并发客户端的实现特性，从FUSE框架优化、数据零拷贝、写并行化三个方面对其写操作进行优化。 (5)对BlueOcean的高并发客户端进行性能测试。 测试表明，对该客户端写性能的优化效果明显；并且随着并发访问文件数的增多，系统总体的数据读写性能，，元数据操作性能以及事务操作性能均有很显著的提升。本论文的研究成果对于其它的海量存储系统高并发客户端的设计也具有较好的借鉴价值。
【学位授予单位】：上海交通大学
【学位级别】：硕士
【学位授予年份】：2013
【分类号】：TP333

【参考文献】

相关期刊论文 前5条

1 杨德志,黄华,张建刚,许鲁;大容量、高性能、高扩展能力的蓝鲸分布式文件系统[J];计算机研究与发展;2005年06期

2 田怡萌;李小勇;刘海涛;;分布式文件系统副本一致性检测研究[J];计算机研究与发展;2012年S1期

3 曾令仿;冯丹;周可;王芳;;网络存储I/O流水机制研究[J];小型微型计算机系统;2006年01期

4 王皓;李小勇;;分布式存储系统中客户端的设计与实现[J];微型电脑应用;2012年02期

5 董晓明;李小勇;程煜;;分布式文件系统的写性能优化[J];微型电脑应用;2012年12期

相关硕士学位论文 前1条

1 战科宇;分布式文件系统元数据服务器高可用设计与实现[D];上海交通大学;2012年

本文编号：2580706