pNFS元数据服务器集群技术研究

发布时间：2018-01-10 01:01

  本文关键词：pNFS元数据服务器集群技术研究　出处：《华中科技大学》2012年硕士论文　论文类型：学位论文

  更多相关文章： 元数据服务器集群 副本 可靠性 可扩展性 负载均衡

【摘要】：随着网络技术和信息数字化的快速发展，面向海量数据的大型应用纷纷涌现，数据中心里存储服务器集群规模随之不断增大，越来越多的存储节点，给存储系统中的元数据服务器带来了更重的负担，元数据服务器的性能逐渐成为系统中的瓶颈。同时，在单一元数据服务器的存储系统中，系统的扩展性和可靠性受到了严重地制约。因此人们提出了元数据服务器集群技术来提高元数据服务器的性能、可靠性以及扩展性。 在研究了现有常见文件系统中元数据服务器集群的设计与实现后，总结出元数据服务器集群技术中，最常见的几种组织元数据的策略，并分析了它们各自的优劣。在现有技术的基础上，提出了基于副本的静态子树分割策略。使用子树划分将元数据划分到集群中不同的服务器上，每台服务器负责处理部分元数据的请求，同时，在集群中为每份元数据维护一定数量的副本，利用元数据请求的重定向，将元数据的访问均衡到不同的副本上，大大降低了系统中出现热点的几率。最后，实现了基于副本的静态子树分割元数据集群应用于分布式并行文件系统（pNFS），，功能上实现了元数据服务器的在线扩展、失效处理、失效恢复、负载均衡等功能。 测试表明基于副本的静态子树分割元数据集群大幅提高了pNFS的可靠性、扩展性和性能，利用元数据集群中的元数据副本，实现了负载均衡，消除了系统中的热点，弥补了传统静态子树分割的不足。
[Abstract]:With the rapid development of network technology and information digitization, large-scale applications for mass data have emerged, and the scale of storage server cluster in the data center is increasing, more and more storage nodes. It brings a heavier burden to the metadata server in the storage system, and the performance of the metadata server becomes the bottleneck of the system gradually. At the same time, in the storage system of the single metadata server. The scalability and reliability of the system are severely restricted, so the metadata server cluster technology is proposed to improve the performance, reliability and scalability of the metadata server. After studying the design and implementation of metadata server cluster in the existing common file system, this paper summarizes the most common strategies of organizing metadata in metadata server cluster technology. On the basis of the prior art, a replication-based static subtree segmentation strategy is proposed. The metadata is partitioned into different servers in the cluster by subtree partitioning. Each server is responsible for processing part of the metadata request, at the same time, maintain a certain number of copies for each metadata in the cluster, using the metadata request redirection, the metadata access balance to different copies. Finally, the static sub-tree partitioning metadata cluster based on replica is implemented in distributed parallel file system (pNFS). The functions of metadata server such as online extension, failure treatment, failure recovery, load balancing and so on are realized. The test results show that the static sub-tree partitioning metadata cluster based on replica greatly improves the reliability, scalability and performance of pNFS, and realizes load balancing by using metadata replica in metadata cluster. It eliminates the hot spot in the system and makes up for the deficiency of traditional static subtree segmentation.
【学位授予单位】：华中科技大学
【学位级别】：硕士
【学位授予年份】：2012
【分类号】：TP333

【相似文献】

相关期刊论文 前10条

1 王召福,章文嵩,刘仲;大规模集群文件系统LCFS的元数据管理与访问机制[J];计算机工程与科学;2005年08期

2 彭碧涛,张良兵;基于RBAC的企业P2P受控计算环境研究[J];大众科技;2005年10期

3 刘湛;钱薇;李斯波;;网络文件系统的数据一致性研究[J];舰船电子工程;2008年07期

4 刘群;冯丹;王芳;;高可靠性元数据服务器研究[J];计算机工程;2008年17期

5 钱薇;李贤君;;基于iSCSI的对象存储系统的研究与设计[J];计算机与数字工程;2009年07期

6 罗秋明;欧阳凯;;PVFS元数据服务器的并行化设计与实现[J];计算机工程;2006年12期

7 田俊峰;宋玮玮;于洪芬;;两级元服务器机群文件系统的负载平衡策略[J];计算机工程;2007年16期

8 陈超;王睿;;制造信息资源元数据描述及其在EAI中的应用[J];江苏科技大学学报(自然科学版);2007年05期

9 张璋;朱兰娟;施亮;吴智铭;;基于对象存储的VOD系统研究[J];微型电脑应用;2005年12期

10 苏勇;周敬利;余胜生;姜明华;刘钢;;基于共享存储池的元数据服务器机群的设计研究[J];小型微型计算机系统;2007年04期

相关会议论文 前10条

1 单颖;姚念民;赵建明;;基于对象存储系统体系结构的研究[A];第15届全国信息存储技术学术会议论文集[C];2008年

2 李志刚;肖侬;户家富;苏云;刘波;;基于XML的数据网格视图[A];第二十二届中国数据库学术会议论文集（技术报告篇）[C];2005年

3 曾文英;赵跃龙;宋玮;王文丰;;个人存储管理策略研究[A];第15届全国信息存储技术学术会议论文集[C];2008年

4 付伟;肖侬;卢锡城;;QoS感知的副本放置问题研究综述[A];第15届全国信息存储技术学术会议论文集[C];2008年

5 朱平;朱建涛;高剑刚;蒋金虎;;高性能计算存储关键技术研究[A];2010年第16届全国信息存储技术大会（IST2010）论文集[C];2010年

6 张桃洲;;没有诗——一首诗的副本[A];诗歌与社会学术研讨会论文集[C];2009年

7 李柱;周恩强;廖湘科;;Filter Cache:一种提高Lustre I/O性能的方法[A];第15届全国信息存储技术学术会议论文集[C];2008年

8 赵武清;许先斌;王卓薇;;一种基于权重的数据网格副本替换策略[A];第15届全国信息存储技术学术会议论文集[C];2008年

9 韩宝玲;付长胜;付伟;赵英杰;肖侬;;BwP：数据网格中的一种更新传播算法[A];2008通信理论与技术新发展——第十三届全国青年通信学术会议论文集（下）[C];2008年

10 付伟;肖侬;;网格环境下的海量科学数据自主复制管理[A];第二十届全国数据库学术会议论文集（研究报告篇）[C];2003年

相关重要报纸文章 前10条

1 清华大学计算机系高性能所 李必刚 舒继武 郑纬民;虚拟化—网络存储的基础[N];计算机世界;2004年

2 ;给你一个支点[N];计算机世界;2002年

3 张峰;日趋成熟的“虚拟化”[N];网络世界;2003年

4 顾仁达;营业执照副本（网络版）的原理及使用[N];中国工商报;2000年

5 记者 刘赋 李俊;大多坦然亮副本[N];重庆商报;2000年

6 郭涛;上千台服务器同时访问也不怕[N];中国计算机报;2005年

7 美田摘编;Storage Tank:实现文件级的虚拟化[N];计算机世界;2003年

8 ;集群存储开始走俏[N];网络世界;2004年

9 ;Sun N1存储架构中的文件访问机制[N];中国计算机报;2004年

10 容若 译;美学者在英发现海地《独立宣言》唯一已知印刷副本[N];中国档案报;2010年

相关博士学位论文 前10条

1 符青云;面向大规模流媒体服务的高性能存储系统研究[D];电子科技大学;2009年

2 吴伟;海量存储系统元数据管理的研究[D];华中科技大学;2010年

3 陈涛;大规模网络存储环境中的数据布局与查询优化技术研究[D];国防科学技术大学;2011年

4 钟海峰;层次p2p存储系统关键技术研究[D];华中科技大学;2011年

5 刘晓茜;云计算数据中心结构及其调度机制研究[D];中国科学技术大学;2011年

6 魏青松;大规模分布式存储技术研究[D];电子科技大学;2004年

7 李静;数据网格的资源管理相关策略及算法研究[D];重庆大学;2007年

8 牛中盈;并行文件系统安全性研究[D];华中科技大学;2010年

9 赵铁柱;分布式文件系统性能建模及应用研究[D];华南理工大学;2011年

10 林琳;基于网格数据交换区的网格作业性能优化[D];吉林大学;2011年

相关硕士学位论文 前10条

1 詹天;pNFS元数据服务器集群技术研究[D];华中科技大学;2012年

2 战科宇;分布式文件系统元数据服务器高可用设计与实现[D];上海交通大学;2012年

3 郑颖;并行网络文件系统中负载均衡机制的研究与实现[D];华中科技大学;2012年

4 林木辉;大规模网络存储分布式文件系统副本管理的研究与实现[D];福州大学;2006年

5 程名;面向海量数据的分布式文件系统设计和实现[D];华中科技大学;2010年

6 肖洁;面向元数据服务器的数据分布策略研究[D];华中科技大学;2007年

7 柴华;对象存储系统中元数据服务器安全性研究[D];华中科技大学;2007年

8 栾亚建;分布式文件系统元数据管理研究与优化[D];华南理工大学;2010年

9 李漪;基于对象存储系统的结构设计及QoS策略研究[D];华中科技大学;2007年

10 薛伟;分布式文件系统关键技术研究与实现[D];中国科学技术大学;2011年

本文编号：1403199