网络文件的分布式存储设计与实现

发布时间：2017-11-23 21:15

  本文关键词：网络文件的分布式存储设计与实现

  更多相关文章： 网络磁盘 MooseFS 分布式存储 存储模型

【摘要】：随着信息网络和互联网技术的快速发展,人们的生活越来越智能化,每天扑面而来的都是大量的互联网信息,个人数据正爆炸式地增长,因此对个人数据存储提出了要求,而传统存储技术存在的开放性不足、建设成本高、扩展性差等问题已难以满足存储需求,所以云计算的兴起为云存储的发展带来了契机,即可将数据移到云端存储,智能终端无需大量存储空间,用户可随时随地通过互联网登录个人云存储空间存取个人数据资源,可以说云存储的发展正颠覆着现有的网络存储架构。 本文正是针对多媒体瘦客户端用户的数据存储需求这一场景,提出了网络文件的分布式存储方案,设计实现了基于MooseFS的分布式网络文件存储系统,并构建了基于动态副本机制和节点容量感知机制的网络文件分布式存储模型,为终端用户提供安全透明的分布式文件存储。 首先,根据云端存储的需求,设计了B/S架构的网络磁盘应用,为每个用户在云端开辟一份私人存储空间,用户可以进行文件的上传、下载等管理操作,由此将用户的存储空间移到云端,并为用户提供了访问云端空间的Web可视化入口。 其次,为满足用户数据的存储需求,以及提高存储可靠性,设法将网络磁盘文件的存储分布式化。方案一是利用开源的分布式文件系统,本论文采用的是MooseFS,即通过构建MooseFS分布式集群,并将网络磁盘存储空间挂载到该系统中,以实现文件的透明化分布式存储；方案二是设计并构建专门针对网络磁盘小文件分布式存储的模型,利用JNotify进行目录实时监控,并设计动态副本机制,利用聚类算法,将文件副本数与用户使用频率设置为正相关,以平衡存储可靠性和资源利用率；设计节点容量感知机制,利用改进的一致性哈希算法将节点资源可用率与实际负载率设置为正相关,以提高节点存储空间利用率。同时,为了实现模型数据监控可视化,利用MVC模型设计了简易后台管理界面,以实现对用户登录次数、副本数、集群存储容量等的实时查看,方便对模型的管理。 本论文针对多媒体瘦客户端等设备存储空间有限与用户数据存储需求之间的矛盾,通过设计网络磁盘,并将其与分布式文件系统结合,有效实现了网络文件的分布式存储,同时构建了分布式存储模型,测试数据显示,该模型的数据分布策略展示出比较好的节点容量感知特性,并提高了实际资源利用率。本文提出的分布式存储解决方案为用户的数据存储带来极大方便,对提高生活质量和满足信息化需求具有重大意义。
【学位授予单位】：山东大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP333

【参考文献】

中国期刊全文数据库 前3条

1 艾菊梅,陆玲;海量数据的存储与高速查询方案设计与研究[J];计算机辅助工程;2003年04期

2 曹宁;吴中海;刘宏志;张齐勋;;HDFS下载效率的优化[J];计算机应用;2010年08期

3 周立;郑滔;;基于DHT的分布式网络负载均衡研究[J];计算机工程与设计;2012年01期

，

本文编号：1219851