基于混合云的存储网关系统的设计与实现

发布时间：2020-04-09 10:25

【摘要】：在这个大数据的时代,数据呈爆发式增长态势,各个企业面临着如何存储海量数据的空前挑战。由于传统数据存储主要是磁盘阵列和NAS、SAN等本地存储服务提供,具有设备价格昂贵、维护成本高等缺点。云计算推动了云存储的产生和发展,它集合了大量的存储设备来提供存储服务。云存储具有高扩展性、高可靠性、按需购买和成本低等优点。尽管云存储具有很大的优势和潜力,且正处于飞速发展中,但是仍存在本地存储服务和云存储服务无法实现无缝衔接、接口不统一、访问延迟高等缺陷。为解决这些问题,存储网关是当下普遍使用的一种解决方案,经过研究现有的存储网关解决方案后,本文提出了独特的设计方案,并根据设计方案实现了该系统原型。该存储网关系统实现了多云平台的统一管理和跨平台的数据容灾备份,并通过选择合适的数据结构、存储技术和查询去重算法以提高云存储的访问速度。本文提出的存储网关由管控模块和数据模块两个模块构成。管控模块部署在级联层上,主要负责混合云的统一管控和接口转换。数据模块部署在被级联层上,是通过磁盘卷过滤驱动来实现的,主要负责截获虚拟机的I/O信息,处理I/O的读、写和回放操作,以及管理分布式带外存储的元数据。该存储网关基于写时拷贝COW技术实现了磁盘快照功能,基于快照增量实现了磁盘备份功能,基于对I/O的实时拷贝实现了磁盘的复制功能,并通过快照、备份和复制功能对磁盘数据进行容灾备份。除此以外,存储网关还使用Journal来保证异步复制过程中数据一致性,并通过筛选去重算法来加速云存储的访问速度。对存储网关的功能和性能进行了详细的测试,结果表明,存储网关可以实现跨云平台的容灾备份,多云平台的统一管理,在保证数据一致性的同时有效的提高了云存储的访问速率。通过系统功能和性能测试可以证明存储网关系统是一种行之有效的混合云存储解决方案。
【图文】：

架构图,架构

AWS Storage Gateway 是一种混合存储服务，内部应用程序可以借助它来无缝地使用 AWS 云存储，它提供了备份、存档、灾难恢复、云突增、存储分层和迁移功能。应用程序可以使用 NFS、iSCSI 等标准存储协议通过网关设备连接到该服务。网关会连接到 Amazon S3、Amazon Glacier、Amazon EBS 等 AWS 存储服务，这些服务为 AWS 中的文件、卷和虚拟磁带提供存储。该服务包含高度优化的数据传输机制，能够进行带宽管理、自动实现网络弹性、高效传输数据，并为活动数据的低延迟本地访问提供本地缓存[8]。AWS Storage Gateway 为数据提供了全套的安全和管理服务，它将数据缓存在本地，为最活跃的数据提供本地磁盘和网络性能，同时在后台通过压缩、加密和带宽管理优化云存储层的数据传输。用户和应用程序可继续使用本地存储模式，同时还能获得云后端的优势。AWS Storage Gateway 还可根据用户的参数来管理将本地缓存卸载到云中的过程，使用户能够更细致地平衡工作负载的延时和规模，只会传输更改过的数据，从而优化网络带宽[9]。

架构图,阿里,架构

）阿里云存储网关 Cloud Storage Gateway云存储网关是基于软件实现的混合云存储产品。它的后端存储采用象存储，为用户系统提供行业标准的文件存储（NAS）服务。它以为后台，将 OSS Bucket 的对象目录结构与 NAS 文件系统建立映射标准的的 NFS 和 CIFS 协议就可以读写 OSS 上的所有对象。同时作为读写缓存，使用户在享受 OSS Bucket 海量空间的同时，拥有吞吐低延迟性能[10]。云存储网关可灵活部署，即可部署在用户自己的数据中心，，又支端部署。跨平台支持，兼容主流文件协议，支持 NFS 和 CIFS 协议indows 和 Linux 系统[11]。具有高性能缓存策略，提供本地缓存模式，异步多线程的方式将数据同步到云端。支持断点续传，自动根据一致性。
【学位授予单位】：华中科技大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP333

【参考文献】