基于MooseFS分布式存储策略的研究与实现

发布时间：2017-11-18 10:24

  本文关键词：基于MooseFS分布式存储策略的研究与实现

  更多相关文章： 分布式存储 MooseFS 存储策略 视频点播

【摘要】：当前互联网时代的快速发展,使信息资源呈现出爆炸性增长趋势,网络和数据已经渗透到人们生活的方方面面。云计算和互联网应用产生了海量数据,对数据存储和数据分析技术提出了更高的需求。传统的存储模式存在的问题也逐渐呈现出来,诸如对数据的可管理性较差、系统可扩展性低、存储容量有限、升级维护成本较高等问题。分布式存储技术可以有效地解决以上问题,其技术关键是应用分布式文件系统,以满足大规模数据对存储容量的需求,并具有冗余存储、高传输率、可在线扩容等技术优点,可以同时满足大规模用户对存储和访问需求。本文针对分布式存储技术进行研究,对MooseFS分布式文件系统的工作原理进行了详细分析,提出了分布式存储策略的改进方案,以优化分布式文件系统的存储和访问性能。并针对视频点播这一应用场景,利用MooseFS分布式存储平台,部署了基于B/S架构的视频点播分布式存储系统,可以分摊服务器端用户的访问压力以及视频文件的存储压力。首先,对GFS、HDFS等典型文件系统进行研究,分析文件系统的架构和工作原理。针对本文的研究场景,选择对MooseFS分布式文件系统进行深入研究。分析了MooseFS系统的工作原理,在此基础上对其原有的存储策略进行了详细分析,解析MooseFS存储策略的源代码,针对原有存储策略存在的问题,创新性地提出了基于服务器性能评价函数的存储策略改进方法。系统在执行存储策略进行存储节点选择时引入更多的服务器性能评价指标,更全面地衡量当前服务器的存储性能,均衡服务器集群之间的存储负载,以优化MooseFS系统的存储性能。然后,针对视频点播这一应用场景,部署了基于B/S架构的视频点播分布式存储系统。系统的设计实现分为两部分,一部分是Web端基于B/S架构的视频点播模块设计,另一部分是服务器端分布式存储系统的设计。视频点播模块采用B/S架构,用户通过浏览器而不是复杂的应用软件实现视频播放功能,可以节约系统资源。服务器端分布式存储系统的部署,主要通过将服务器作为客户端挂载到MooseFS分布式文件系统,实现视频文件的分布式存储。针对云计算快速发展的形势下不断增长的数据存储需求,本文对基于MooseFS的分布式存储相关技术进行研究,通过改进MooseFS的存储策略,使系统存储节点之间的数据分布更加均衡,提高了系统的服务器资源利用率。通过搭建视频点播分布式存储系统,可以满足大量视频文件对存储容量的需求,有效地分摊系统的存储压力和并发访问压力。本文对基于MooseFS分布式存储策略的研究和系统实现,对于分布式存储技术的研究和服务器集群的性能优化方面有重要意义。
【学位授予单位】：山东大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP333

【参考文献】

中国期刊全文数据库 前5条

1 杨岳湘;邓文平;邓劲生;李阳;;基于云存储的网盘系统架构及关键技术研究[J];电信科学;2012年10期

2 柳树春,廖孟扬,王思贤,徐振勤;Browser/Server模式管理信息系统的设计与实现[J];计算机工程与应用;2000年06期

3 王珊;王会举;覃雄派;周p，

本文编号：1199468