云存储中的数据动态平衡技术研究

发布时间：2019-03-12 16:40

【摘要】：近年来,“云计算”(Cloud Computing)一直是分布式计算领域及互联网业界的研究热点。自2007年云计算概念被提出以来,IT行业特别是互联网行业和通信行业各大公司和企业纷纷宣布踏入云计算领域,并将其作为下一代技术的重点发展方向。云计算以其超大规模、高可扩展性、按需服务等特点为下一代应用系统开发带来新的愿景。本文研究的课题即在云计算的背景下提出,旨在研究虚拟化环境下数据存储中的数据动态平衡问题。具体来说,“数据动态平衡”即为海量数据在存储系统中多节点之间基于访问负载的动态平衡,以实现系统根据数据实际访问负载进行动态扩展或收缩,最终达到系统中资源使用率最大化的目的。由于云平台提供商向用户提供资源(包括CPU、内存、硬盘以及网络带宽等)是按需分配的形式,因而,系统管理员甚至应用系统本身可以根据数据的实际访问负载,动态控制数据在系统内的分布,从而实现对已分配资源的最大化使用。而相对于无状态的HTTP服务器,云平台上的数据存储系统的资源管理问题更具有挑战性,因为数据存储系统中涉及到的数据分割、分布算法加大了问题研究的难度。进一步地,传统的关系型数据存储系统由于其可扩展性、可伸缩性较弱,导致云平台上使用较多的均为分布式架构的存储系统。其中,P2P架构的数据存储系统由于其完全去中心化、较强的容错性等特点,被视为云平台上数据存储的最优选择之一。本文利用云平台对虚拟机资源动态监控的特点,同时结合P2P数据存储中负载均衡的相关技术,提出适合于云平台的创新数据动态平衡框架和算法,以达到对虚拟机里诸如硬盘等资源更高的利用率。因而,本文提出了ALARM数据动态平衡模型——利用实时采集的系统资源的使用情况,通过预定义的决策机制动态管理P2P存储系统中的数据分布。在ALARM数据动态平衡模型中,共定义了四种操作,即监控操作、合并操作、拆分操作以及数据移动操作。监控操作负责根据状态采集模块采集到的系统资源使用情况,判断当前的物理节点是否需要调整数据分布以达到新的数据平衡。如果监控操作判定当前节点负载过轻,那么合并操作将被调用,通过合并两个虚拟机上的数据,并关闭其中一个虚拟机,从而减少系统占用的物理资源;如果监控操作判定当前节点负载过重,那么拆分操作将被调用,启动一个新的虚拟机分担部分数据,从而减轻当前节点的访问负载。而数据移动操作则负责搬移合并操作或拆分操作中需要移动的数据。最后,为了验证ALARM数据动态平衡模型的正确性和有效性,本课题设计并实现了一个基于ALARM数据动态平衡模型的模块,并将其应用到一个真实的P2P数据存储系统——Open Chord存储系统中。通过以98世界杯网站访问日志模拟用户对这个原型系统的查询访问,验证了ALARM模型能够帮助Open Chord系统根据数据访问负载的变化实现动态自动伸缩——存储节点数目的增减。实验数据表明,本课题提出的ALARM数据动态平衡模型在实际应用中能达到预期的目的,是一个具有实际应用价值的有效模型。
[Abstract]:......
【学位授予单位】：上海交通大学
【学位级别】：硕士
【学位授予年份】：2012
【分类号】：TP333

【相似文献】