网络环境下的分布式存储系统的设计与实现
发布时间：2021-11-19 15:22
伴随网络和计算机的迅猛发展,网络各种资源急剧增大。无论企业还是个人,对存储空间的需求都呈现几何级数增长。小容量的存储设备或者单个磁盘的存储容量与存取速度已经无法满足人们的存储需求。上世纪末,在互联网深入发展的背景下,关于数据的海量存储已经成为急需解决的问题。而据统计,有许多商用和个人PC的磁盘利用率只有50%左右,大量的存储空间被闲置。为了能够把这些闲置的存储空间连接起来,构成一个巨大的存储池,使得应用者不必购买专门的售价昂贵的服务器而大大降低存储成本,论文提出了一种规模相对较小的带中心服务器的分布式存储系统。论文根据应用环境确定了有中心服务器的架构。为了提高系统的性能,系统将元数据和文件块数据独立分开存放,降低了网络的通信量,同时把对文件的访问分散到多台机器上,提高了系统的读写效率。针对分布式系统各存储节点的负载不平衡这个问题,论文采用了基于系统负荷度和文件块访问热度的文件块迁移和复制策略,有效地平衡了节点的负载。为了让系统拥有较高的可靠度和提高存储空间的利用率,系统采用了文件分块以及文件冗余的方式来分发文件,同时采用了动态的文件块拷贝的方式,保证数据有较高的可获得性。在易用性方面,...
【文章来源】：华中科技大学湖北省 211工程院校 985工程院校 教育部直属院校
【文章页数】：65 页
【学位级别】：硕士
【部分图文】：
SAN的典型结构
Storage Server 1Storage Server 2Storage Server N图 2.1 系统架构图系统拥有以下特点：） 把资源与数据分散存储到网络中的多个存储节点上，这些存储节点称ge Server。由一个主服务器(Tracker Server)对资源的定位查找，所有节点的这些全局信息即元数据进行管理。将数据和元数据分开存储。大量的文件存放在存储服务器上，主服务器不存储大量的实际数据，它只存放一些全对整个系统予以调度和维护,从而使得系统拥有更好的调度效率。） 为了防止 Tracker Server 的单点失效，系统采用了备用的 Tracker Server主服务器会以心跳的方式对主 Tracker Server 进行监控，当断定主 Tracker S用时候将启动自己。） 可以动态地往系统中增加 Storage Server，容易地实现存储容量的扩展。） 实际的数据与资源的传输是直接在系统中的 Storage Server 与应用服
图 2.2 文件块备份数据流格式Server 的删除文件块的命令时，进行以下有效性。没有则发送出错信息。行本地删除。更新本地的文件块映射表。操作加入到发送文件块元数据信息队列中 Client 的交互是 Client 要求上传文件，下载文件，追在第三章中会予以讲述，此处描述交互上传到系统中时，会从 Tracker Server 那一定格式的数据流发送给该 Storage Serv络流中等，数据流如图 2.3，该数据流与
【参考文献】：
期刊论文
[1]网络编码的分布式存储系统理论分析[J]. 王宁,林雪红,林家儒. 北京邮电大学学报. 2009(03)
[2]大型分布式存储系统高效元数据管理[J]. 郭莉,刘伟,黄海. 微计算机信息. 2008(09)
[3]一种面向对象的Internet存储服务系统Granary[J]. 胡进锋,洪春辉,郑纬民. 计算机研究与发展. 2007(06)
[4]校园网络存储系统的研究[J]. 章伟辉,方赵林,王万良. 浙江工业大学学报. 2005(05)
[5]高可用并行文件系统的分布式元数据管理[J]. 李胜利,唐维,石柯,程斌,蒙廷友. 应用科学学报. 2005(03)
[6]数据网格中一种基于副本和缓存的元数据管理系统[J]. 石柯,王庆春,吴松. 计算机研究与发展. 2004(12)
[7]分布式协同设计技术综述[J]. 高曙明,何发智. 计算机辅助设计与图形学学报. 2004(02)
[8]分布式系统中动态负载均衡实现模型[J]. 陈志刚,李登,曾志文. 中南工业大学学报(自然科学版). 2001(06)
[9]分布式文件系统中文件位置无关性的一个解决方案[J]. 陈晓宇,苏中义. 计算机与现代化. 2000(01)
博士论文
[1]基于P2P的分布式存储及其相关技术研究[D]. 侯孟书.电子科技大学 2005
硕士论文
[1]基于DHT的数据网格副本定位研究[D]. 李鹏杨.青岛大学 2008
[2]网络环境下分布式存储系统的研究与设计[D]. 陈惟康.上海交通大学 2008
[3]P2P分布式文件系统中信任计算模型的研究[D]. 罗涛.重庆大学 2007
[4]基于冗余机制的网络存储系统可靠性研究[D]. 王克朝.华中科技大学 2006
本文编号：3505320
【文章来源】：华中科技大学湖北省 211工程院校 985工程院校 教育部直属院校
【文章页数】：65 页
【学位级别】：硕士
【部分图文】：
SAN的典型结构
Storage Server 1Storage Server 2Storage Server N图 2.1 系统架构图系统拥有以下特点：） 把资源与数据分散存储到网络中的多个存储节点上，这些存储节点称ge Server。由一个主服务器(Tracker Server)对资源的定位查找，所有节点的这些全局信息即元数据进行管理。将数据和元数据分开存储。大量的文件存放在存储服务器上，主服务器不存储大量的实际数据，它只存放一些全对整个系统予以调度和维护,从而使得系统拥有更好的调度效率。） 为了防止 Tracker Server 的单点失效，系统采用了备用的 Tracker Server主服务器会以心跳的方式对主 Tracker Server 进行监控，当断定主 Tracker S用时候将启动自己。） 可以动态地往系统中增加 Storage Server，容易地实现存储容量的扩展。） 实际的数据与资源的传输是直接在系统中的 Storage Server 与应用服
图 2.2 文件块备份数据流格式Server 的删除文件块的命令时，进行以下有效性。没有则发送出错信息。行本地删除。更新本地的文件块映射表。操作加入到发送文件块元数据信息队列中 Client 的交互是 Client 要求上传文件，下载文件，追在第三章中会予以讲述，此处描述交互上传到系统中时，会从 Tracker Server 那一定格式的数据流发送给该 Storage Serv络流中等，数据流如图 2.3，该数据流与
【参考文献】：
期刊论文
[1]网络编码的分布式存储系统理论分析[J]. 王宁,林雪红,林家儒. 北京邮电大学学报. 2009(03)
[2]大型分布式存储系统高效元数据管理[J]. 郭莉,刘伟,黄海. 微计算机信息. 2008(09)
[3]一种面向对象的Internet存储服务系统Granary[J]. 胡进锋,洪春辉,郑纬民. 计算机研究与发展. 2007(06)
[4]校园网络存储系统的研究[J]. 章伟辉,方赵林,王万良. 浙江工业大学学报. 2005(05)
[5]高可用并行文件系统的分布式元数据管理[J]. 李胜利,唐维,石柯,程斌,蒙廷友. 应用科学学报. 2005(03)
[6]数据网格中一种基于副本和缓存的元数据管理系统[J]. 石柯,王庆春,吴松. 计算机研究与发展. 2004(12)
[7]分布式协同设计技术综述[J]. 高曙明,何发智. 计算机辅助设计与图形学学报. 2004(02)
[8]分布式系统中动态负载均衡实现模型[J]. 陈志刚,李登,曾志文. 中南工业大学学报(自然科学版). 2001(06)
[9]分布式文件系统中文件位置无关性的一个解决方案[J]. 陈晓宇,苏中义. 计算机与现代化. 2000(01)
博士论文
[1]基于P2P的分布式存储及其相关技术研究[D]. 侯孟书.电子科技大学 2005
硕士论文
[1]基于DHT的数据网格副本定位研究[D]. 李鹏杨.青岛大学 2008
[2]网络环境下分布式存储系统的研究与设计[D]. 陈惟康.上海交通大学 2008
[3]P2P分布式文件系统中信任计算模型的研究[D]. 罗涛.重庆大学 2007
[4]基于冗余机制的网络存储系统可靠性研究[D]. 王克朝.华中科技大学 2006
本文编号：3505320
本文链接：https://www.wllwen.com/kejilunwen/jisuanjikexuelunwen/3505320.html
