分布式存储系统的管理系统的设计与实现

发布时间：2019-08-20 17:00

【摘要】：大规模分布式存储系统具有高可扩展性、高可用性等优点，已成为存储领域的研究和发展方向，在各大互联网公司和企业数据中心都有着广泛的应用。由于分布式存储系统规模庞大，功能复杂，完善的管理系统则是实现存储系统可管理、高可靠运行的重要前提。 BlueOcean是我们实验室设计开发的基于对象存储的大规模分布式文件系统，其架构类似于Google File System，它由一个元数据结点，一个备份结点（可选），多个数据结点和若干个客户端组成。其中元数据结点主要用于管理文件元数据信息，，并负责负载均衡和租约管理等；数据结点负责保存数据，并以线程池的方式高并发处理来自客户端的I/O请求；客户端为应用程序提供POSIX接口，其内部采用了单线程异步事件驱动的框架，与元数据结点进行元数据交互，与数据结点进行数据交互。 本文基于BlueOcean分布式文件系统。研究了在设计与实现管理系统过程中需要解决的关键技术问题，提出了相应的解决方法，并详细描述了其管理系统的设计细节。本文的主要工作包括： (1)深入分析和研究现有的分布式文件系统； (2)分析实验室开发的BlueOcean分布式文件系统的总体架构及其各类结点的内部实现细节； (3)分析了在设计BlueOcean分布式文件系统的管理系统的过程中所遇到的关键问题，并针对这些问题提出了相应的解决方案； (4)全面描述了BlueOcean分布式文件系统的管理系统的设计细节，并展示了其功能和使用效果。 本文设计的BlueOcean分布式文件系统的管理系统具有易配置、易监控、易管理的优点。论文的成果对其他分布式存储系统的管理系统的设计也具有较好的借鉴作用。
【学位授予单位】：上海交通大学
【学位级别】：硕士
【学位授予年份】：2013
【分类号】：TP333;TP316.4

【相似文献】

相关期刊论文 前10条

1 许春聪;黄小猛;吴诺;孙宁伟;杨广文;;分布式文件系统存储介质评测与分析[J];计算机学报;2010年10期

2 郭亨亨;赵文静;;语义Web数据的云存储研究[J];电子科技;2010年05期

3 张子鹏;刘海涛;管海兵;;采用信任管理的分布式文件系统TrustFs[J];计算机工程;2009年01期

4 陈建荣;傅黎;;Novell网络环境下分布式文件系统的设计与实现[J];海军工程大学学报;1993年03期

5 李相娜;曹强;赵旺;魏沁祺;;加快分布式文件系统元数据访问的研究与实现[J];微处理机;2008年02期

6 刘伟;刘露;陈荦;钟志农;;海量遥感影像数据存储技术研究[J];计算机工程;2009年05期

7 何公明;张元涛;;面向数字媒体的高性能分布式存储系统的研究与应用[J];广播电视信息;2009年10期

8 周建强;薛行;徐希豪;杨培根;孙钟秀;;分布式文件系统NDFS的设计和实现[J];计算机研究与发展;1990年07期

9 李桂萍;;云计算的两大特性:虚拟化、分布式[J];通信世界;2011年16期

10 张维庆,袁宏春;基于E-mail的分布式文件系统(MDFS)[J];福建电脑;2004年07期

相关会议论文 前10条

1 赵辉;何连跃;;基于异构分布式存储系统的动态反馈负载均衡技术[A];第15届全国信息存储技术学术会议论文集[C];2008年

2 邢海韬;黄孜祺;肖健;;应用动态管理技术优化海量数据管理[A];广西计算机学会2008年年会论文集[C];2008年

3 洪穗;;微软WINDOWS Server 2003 R2分布式文件系统解决方案分析[A];中国新闻技术工作者联合会2008年学术年会论文集（上）[C];2008年

4 华清;黄林鹏;;基于分片、松耦合的分布式文件系统的设计与实现[A];2006年全国开放式分布与并行计算学术会议论文集（二）[C];2006年

5 付万;任学慧;张海静;林霞;;基于GIS的辽宁省气象灾害与保险风险管理系统[A];第26届中国气象学会年会公共气象服务与灾害管理分会场论文集[C];2009年

6 王良骏;刘伟;刘国强;吴再海;;基于Web的民用爆破物品信息管理系统的设计与开发[A];第八届全国采矿学术会议论文集[C];2009年

7 李淑娟;杨菊梅;尹红生;;基于ASP.NET的科技干部信息管理系统的设计与实现[A];决策科学与评价——中国系统工程学会决策科学专业委员会第八届学术年会论文集[C];2009年

8 封保霞;李苏剑;;钢卷库管理系统物流合理化研究[A];全国冶金自动化信息网2010年年会论文集[C];2010年

9 杨沙强;;FX2N模块在切换车型各岗位作业变化点管理系统的应用[A];“广汽部件杯”广东省汽车行业第六期学术论文集[C];2011年

10 赵文强;赵清;;基于物联网的自动入库管理系统及其应用研究[A];第十三届中国科协年会第10分会场-节能减排战略与测控技术发展学术研讨会论文集[C];2011年

相关重要报纸文章 前10条

1 ;分布式文件系统一瞥[N];网络世界;2002年

2 王春海 刘立;分布式文件系统在网络中的应用[N];电脑报;2004年

3 本报记者 蔡方;“一站式服务”助企业跨越绿色壁垒[N];中国环境报;2005年

4 ;神州数码：物流GPS+CDMA 1X兼控管理系统[N];通信产业报;2004年

5 李军 乔元凤 乔海元;泗水供电公司建立低压业扩管理系统[N];中国电力报;2006年

6 余红　徐震 郑景云 陈晓光;执法管理系统扣分不讲情面[N];中国税务报;2007年

7 陈军 林宝会;承钢物资采购价格管理系统上线[N];中国冶金报;2007年

8 耿捷;“进境冻肉冷库查验管理系统”通过鉴定[N];中国国门时报;2006年

9 京客隆运维部主任 张勋军;实现“透明式”运维管理[N];中国计算机报;2006年

10 胡英;SafeNet推移动数字版权管理系统[N];计算机世界;2007年

相关博士学位论文 前10条

1 赵铁柱;分布式文件系统性能建模及应用研究[D];华南理工大学;2011年

2 王禹;分布式存储系统中的数据冗余与维护技术研究[D];华南理工大学;2011年

3 万亚平;基于P2P的分布式存储系统可靠性及故障检测研究[D];华中科技大学;2010年

4 李彭军;医学影像云服务平台基础架构研究与实践[D];南方医科大学;2011年

5 姚杰;分布式存储系统文件级连续数据保护技术研究[D];华中科技大学;2009年

6 闫希军;现代中药产业链管理系统研究[D];南京农业大学;2007年

7 宋玮;分布式存储系统中的节点自主性问题研究[D];华南理工大学;2010年

8 陈远章;转型期中国突发事件社会风险管理研究[D];中南大学;2009年

9 林琳;基于网格数据交换区的网格作业性能优化[D];吉林大学;2011年

10 穆罕默德·马斯理;城市垃圾管理系统优化的研究[D];武汉大学;2004年

相关硕士学位论文 前10条

1 董晓明;分布式存储系统的管理系统的设计与实现[D];上海交通大学;2013年

2 龚高晟;通用分布式文件系统的研究与改进[D];华南理工大学;2010年

3 李书鹏;分布式文件系统在云存储环境下的若干问题研究[D];中国科学技术大学;2011年

4 刘飞;基于云计算的分布式存储系统的研究和应用[D];西安工业大学;2012年

5 周昶;基于对象分布式文件系统的存储缓存研究[D];杭州电子科技大学;2011年

6 赵黎斌;面向云存储的分布式文件系统关键技术研究[D];西安电子科技大学;2011年

7 胡振欣;分布式文件系统中的软件开发管理[D];上海交通大学;2012年

8 吕磊;迅雷离线下载分布式文件系统的设计与实现[D];哈尔滨工业大学;2010年

9 张红林;分布式文件系统中集中安全管理服务器设计与实现[D];华中科技大学;2011年

10 王旭东;面向海量遥感影像数据的分布式文件系统管理技术研究[D];兰州交通大学;2012年

本文编号：2528764