钱塘分布式文件存储系统性能优化

发布时间：2020-10-21 11:05

　　 钱塘分布式文件存储系统是在国家重大科技攻关项目的支撑下,研制的面向云计算、互联网等高端应用的分布式文件存储系统。论文结合该系统的版本升级,研究了分布式文件存储系统的性能优化技术,包括负载均衡、副本机制、系统扩展和分布式元数据管理等。 论文首先分析了现有的分布式架构,进而解析钱塘分布式文件存储系统1.0版性能问题,最后提出一种新的架构——钱塘分布式文件存储系统2.0版。 论文提出一种自适应的动态负载均衡算法。它综合地运用了静态负载均衡算法和动态负载均衡算法的优点,在数据服务器节点上利用其自我监测能力设计了一种自适应的反馈机制,这种反馈机制在保证实时性的同时可降低获取数据服务器节点负载信息的开销,实验数据表明该算法使得钱塘分布式文件存储系统取得较大的性能提升。 论文设计了一种低开销的乐观副本机制。采用了操作传输的形式进行副本复制,可避免传输重复的内容,从而节省网络带宽；通过将文件元数据拆分为两部分：文件固有属性和控制属性,数据服务器无需向主服务器查询即可进行副本复制,只需将副本复制的最终结果作为心跳的附加信息传输给主服务器。这种改进方案可以降低网络开销,缓解主服务器的压力。 在优化单集群的前提下,论文还提出了系统扩展方案——集群级扩展,采用了基于目录的一致性哈希分布式元数据管理方法水平扩展数据,该方法可以解决数据瓶颈问题,具有访问高效、数据分布均匀等特点。
【学位单位】：浙江大学
【学位级别】：硕士
【学位年份】：2011
【中图分类】：TP333
【部分图文】：

图1.2Hedoop分布式文件系统.Ceph分布式文件系统eph分布式文件系统是由美国加州大学圣特克鲁斯分校存储系统研究海量存储系统。元数据服务器和存储服务器均采用分布式的结构，据管理和分层的数据分布选择方式。由多个元数据服务器构建的文间，比Had00p分布式文件系统支持更多的文件命名空间并发访问。态子树划分技术具有较好的负载均衡功能，将元数据的访问请求分点，同时支持负载的动态迁移。在存储服务器中，提供一套基于对对象文件系统，优化了不同大小文件的存储空间分配，使每个文件分布在磁盘上，在合理利用磁盘空间的同时，减少了磁头的寻道时据的访问速度。图1.3为Ceph的系统架构图。

图1.3ceph分布式文件系统3.TaobaoFileSystem(TFS)Taoba。Filesystem(TFS)是由淘宝网开发的分布式文件系统，主要针非结构化数据存储。它构建在普通的Linux集群上，为淘宝网提供发的海量小文件存储。TFS采用扁平化的数据组织结构，将文件名映物理地址，简化了文件的访问流程，一定程度上优化了读写性能。一个TFS集群由两个Nameserver(命名服务器)节点和多个Datase务器)节点组成。这些服务程序都是作为一个用户级的程序运行在普上的。TFs将大量的小文件合并成为一个大文件，这个大文件称为块Bloek拥有在系统内唯一的标示号(BloekId)。Nameserver维护server的映射，Bloek存储在Dataserver上。同时为了考虑容灾，Na了HA结构，即两台机器互为热备，同时运行，一台为主，一台为备

图1.4TFS架构图4.蓝鲸分布式文件系统蓝鲸分布式文件系统(BWFS)是中国科学院计算技术研究所工程计研发的基于网络存储的大容量、高性能、高扩展能力分布式文件系了专用服务器模式，将文件访问的数据流和控制流进行了分离，能够率和高扩展能力的数据访问。BWFS系统的集群包括元数据服务器和绑定服务器两个部分，通过据服务器集群管理文件系统元数据，网络存储设备管理文件数据存储服务器管理元数据的分布，实现负载均衡功能。应用服务器集群通过文件系统的元数据访问协议，直接向网络存储设备进行文件数据的读为BWFS的系统架构图。
【参考文献】

相关期刊论文 前1条

1 杨德志,黄华,张建刚,许鲁;大容量、高性能、高扩展能力的蓝鲸分布式文件系统[J];计算机研究与发展;2005年06期

本文编号：2850040