面向复杂负载特征和性能需求的云数据库弹性动态平衡问题研究

发布时间：2017-04-07 17:22

  本文关键词：面向复杂负载特征和性能需求的云数据库弹性动态平衡问题研究，，由笔耕文化传播整理发布。

【摘要】：随着云计算的发展,越来越多的传统应用开始向云平台迁移。云计算的主要特征之一就是可以弹性扩展,所谓的弹性是指当系统的负载发生动态变化时能够动态的增加或减少资源。而云数据库弹性动态平衡问题一直被认为是实现云计算弹性特征的关键。要实现云数据库弹性动态平衡需要考虑租户性能和数据节点资源使用情况,从租户的角度来说租户希望自己的性能能得到100%的满足且云服务的价格便宜；从云服务提供商的角度来说希望租户的性能都能得到满足且资源的使用最少即资源能得到充分利用。如果我们能够对租户性能和数据节点资源使用情况进行准确预测,就可以为云数据库的弹性动态平衡策略提供很好的指导作用。但是由于云环境下租户性能的复杂性和工作负载的复杂性使得云数据库弹性动态平衡问题变得更加复杂,放大了实现云数据库系统自适应弹性控制的技术难度。云计算环境下多租户应用通常呈现混合动态复杂负载特征。高动态主要体现在大波动,由于不同租户不同负载波动的叠加而放大。混合性体现在不同租户不同的负载特种证,总体负载并不是单纯的叠加。并且不同租户,其数据热度和峰值都不同,使得租户性能模型和节点资源模型的构建变的复杂。云计算环境下租户数据通常是共享存储的,就会存在多租户资源竞争。资源竞争的复杂性增加了租户性能和资源使用情况预测的难度。云中多租户的资源都会共享存储的,负载高的租户会抢占负载低的租户的资源或者因为某个租户的负载特征的发生了变化而使得资源的使用发生变化。资源之间的竞争使得租户之间的公平被打破。租户的性能、数据节点的资源使用情况和负载的关系不是简单的线性关系。从而使得对租户性能和节点资源使用情况的预测变的很困难。云计算环境下多租户的性能是不一样的,多租户个性化性能需求所带来的复杂性,增加了云数据库分布式数据节点数据放置的难度。云应用性能需求的复杂性主要体现在不同的租户其性能需求不同。由于同一节点往往需要存储多个租户的数据,拆分或合并一组租户的数据,放置到合适的节点,判断是否能满足这一组租户对应用数据的性能需求就变得异常困难。本文针对key/value存储的NoSQL型云数据系统共享存储模式下的弹性动态平衡问题进行系统研究,提出了弹性动态平衡控制框架,该框架主要包括租户性能模型、节点资源模型和弹性动态平衡执行策略生成算法。租户性能模型主要基于高斯过程,利用该模型能对具有复杂负载特征的多租户的性能进行准确预测；节点资源模型主要基于KCCA方法,利用该模型能对资源共享模式下存在激烈资源竞争的数据节点的资源使用情况进行准确预测；弹性动态平衡执行策略生成算法是基于租户性能模型和节点资源模型提出的,通过执行该算法能够使得在租户性能得到满足的情况下节点的资源利用率很高,使得整个系统的开销最小化。本文在提出模型和算法的同时并通过实验从多个角度验证了模型的准确性和算法的有效性。
【关键词】：云数据库 性能模型 资源模型 弹性动态平衡
【学位授予单位】：山东大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP311.13;TP393.09
【目录】：

• 摘要10-12
• ABSTRACT12-14
• 第1章 绪论14-19
• 1.1 研究背景14-16
• 1.2 研究内容16-17
• 1.3 文章组织结构17-19
• 第2章 相关研究19-23
• 2.1 基于虚拟机的云资源弹性控制和整合方法19-20
• 2.2 关系云中的动态负载均衡技术20-21
• 2.3 NoSQL数据系统弹性控制方法21-22
• 2.4 本章小结22-23
• 第3章 面向云数据库的弹性动态平衡控制框架23-28
• 3.1 云数据库应用场景23-24
• 3.2 云数据库的弹性动态平衡控制框架整体设计24-27
• 3.2.1 混合动态云数据库负载模型25
• 3.2.2 云数据库租户性能模型25-26
• 3.2.3 云数据库数据节点资源模型26
• 3.2.5 云数据库系统弹性动态平衡执行策略26-27
• 3.3 本章小结27-28
• 第4章 混合动态云数据库负载模型28-34
• 4.1 均匀采样28
• 4.2 基于负载特性采样28-32
• 4.3 本章小结32-34
• 第5章 基于高斯过程的性能模型34-41
• 5.1 性能模型的需求分析34-35
• 5.2 高斯过程基础理论35-37
• 5.2.1 贝叶斯方法35-36
• 5.2.2 高斯过程36-37
• 5.3 性能模型构建37-40
• 5.3.0 租户分类37-38
• 5.3.1 获取样本数据38
• 5.3.2 高斯过程建模38-40
• 5.3.3 超参数的确定40
• 5.4 本章小结40-41
• 第6章 基于KCCA的资源模型41-46
• 6.1 资源模型的需求分析41-42
• 6.2 KCCA方法基础理论42-43
• 6.3 资源模型构建43-45
• 6.3.1 获取样本数据43-44
• 6.3.2 KCCA方法建模44-45
• 6.3.3 使用KCCA算法进行资源预测45
• 6.4 本章小结45-46
• 第7章 弹性动态平衡执行策略46-54
• 7.1 问题描述46-47
• 7.2 弹性动态平衡执行策略算法47-53
• 7.2.1 算法概述47-48
• 7.2.2 弹性动态平衡执行策略第一阶段48
• 7.2.3 弹性动态平衡执行策略第二阶段48-51
• 7.2.4 弹性动态平衡执行策略第三阶段51-53
• 7.3 本章小结53-54
• 第8章 实验部分54-62
• 8.1 租户描述54-55
• 8.2 模型实验55-58
• 8.2.1 租户性能模型实验55-57
• 8.2.2 节点资源模型实验57-58
• 8.3 弹性动态平衡执行策略实验58-61
• 8.4 本章小结61-62
• 第9章 总结和展望62-64
• 9.1 工作总结62-63
• 9.2 工作展望63-64
• 参考文献64-70
• 致谢70-71
• 攻读学位期间发表的学术论文目录71-72
• 攻读硕士学位期间参与的项目72-73
• 学位论文评阅及答辩情况表73

【参考文献】

中国期刊全文数据库 前4条

1 易星宇;翁楚良;;面向云计算中心效能优化的负载平衡方法[J];计算机科学与探索;2012年04期

2 赵鑫;王伟;张文博;魏峻;;共享式Web应用服务器集群的资源整合方法研究[J];计算机科学与探索;2013年01期

3 林子雨;赖永炫;林琛;谢怡;邹权;;云数据库研究[J];软件学报;2012年05期

4 申德荣;于戈;王习特;聂铁铮;寇月;;支持大数据管理的NoSQL系统研究综述[J];软件学报;2013年08期

  本文关键词：面向复杂负载特征和性能需求的云数据库弹性动态平衡问题研究，由笔耕文化传播整理发布。

本文编号：290965