基于分布式存储的在线网盘系统的设计与实现

发布时间：2019-08-16 09:03

【摘要】：随着互联网中信息量不断增长，数据的管理难度、存储成本加大，越来越多的企业将传统的存储方式向云存储转变。云存储服务具有高可靠性、高扩展性及大容量存储等特点，涉及存储网络技术、虚拟化技术、数据传输技术、分布式存储技术，具有良好的学术研究价值和商业前景。本论文涉及基于分布式存储的在线网盘系统，主要工作和研究内容如下：为了适应海量规模存储环境的要求，提高数据中心主机的存储空间利用率，本文设计并实现了一种异构环境下的分布式块存储系统（InfoStor）。该系统通过带内存储虚拟化技术将存储资源利用起来，代替磁盘阵列提供大容量存储空间，后端存储节点提供多副本冗余存储功能保护数据，主控节点支持“侦听-检测-切换”的高可用模式防止单点故障发生。针对基于Web的商业在线网盘，，受到校园网环境的特性和网络出口的限制，本文利用GlusterFS分布式文件系统整合InfoStor提供的块级别存储，设计并开发面向校园的在线个人网盘服务-InfoDisk。结合校园网用户的特点和应用需求，对校园网络存储解决方案进行了较为深入的研究，并设计一个功能完善、界面友好、简单易用的网络硬盘系统，并且在此基础之上，针对校园存储服务高并发、高数据量、高吞吐量的特点，设计该服务的性能优化方案。本文研究重点是（1）基于带内虚拟化技术实现的分布式块存储系统的整体架构，介绍所涉及的主要功能模块：磁盘管理、存储池管理、虚拟卷管理和LUN Mapping的实现流程，主控节点的高可用模式和存储后端多副本冗余实现方式。（2）将Web技术与云存储平台相结合，建立一个基于云存储平台的Web网络存储应用系统。通过研究和对比现有存储技术，特别是云存储技术，确定采用了LAMP加GlusterFS的系统技术架构。该架构具有以下特征：具有较高的可靠性，充分保证数据的安全；具有可扩展性，存储容量按需弹性扩展；具有易用性，维护成本低，系统管理方便。通过具体的实验和用户的反馈，本文所设计的基于分布式存储的在线网盘系统具有良好的应用价值，为用户提供安全，便捷的在线存储服务。
【学位授予单位】：杭州电子科技大学
【学位级别】：硕士
【学位授予年份】：2013
【分类号】：TP333

【参考文献】