基于虚拟磁盘的分布式存储系统的设计与实现

发布时间：2017-05-23 21:00

  本文关键词：基于虚拟磁盘的分布式存储系统的设计与实现，由笔耕文化传播整理发布。

【摘要】：随着全球网络化的热潮,网络技术针对个人应用的也是水涨船高。传统的存储解决方案已经不能应对海量数据和众多互联网应用的挑战。大规模分布式存储系统具有高可扩展性、高可用性等优点,已成为存储领域的研究和发展方向,在各大互联网公司和企业数据中心都有着广泛的应用。本文提出的基于虚拟磁盘的分布式存储系统是结合当前蓬勃发展的分布式存储技术,针对海量数据以及客户端特定的内核态数据的存储方式,设计并实现的新型分布式存储系统。本文提出的分布式存储架构,不仅具备完善的控制调度机制、基于hash算法的定位和扩展策略以及安全可靠的认证服务,还为海量数据片的存储专门设计了基于Log-Structure的日志式数据存储系统,该文件系统依托于三级存储介质即内存、ssd和磁盘,能充分利用磁盘IO带宽,提高读写效率。基于Log-Structure日志结构的数据存储系统(Log-Structure Storage System,L3S)部署在分布式存储集群的每台存储节点上。该数据存储模型借鉴于LogFS,用户数据被分割成固定大小的数据分片,这些分片以Append的方式组织在Log-Structure结构中并在该结构填满后一次性写入到磁盘。这种批量写入的策略能充分利用磁盘传输带宽,减少磁盘碎片。随着数据的改变,数据分片的元数据也在不断更新。当磁盘的可用存储空间不足时,系统按照一定策略对无效数据进行回收。同时,该数据存储系统把所有元数据和部分数据缓存放到SSD中,并在内存中建立日志式数据结构,作为持久化介质和网络缓存的中间层。本文最后对系统进行了基本功能测试和性能压力测试,证明本系统可以良好的运行,并能高效的完成数据服务。
【关键词】：分布式 存储系统 Log-Structure 日志式数据存储系统
【学位授予单位】：电子科技大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP333

  本文关键词：基于虚拟磁盘的分布式存储系统的设计与实现，，由笔耕文化传播整理发布。

本文编号：389068