云化业务平台可伸缩性研究

发布时间：2018-03-26 10:15

本文选题：云化业务平台　切入点：可伸缩性　出处：《北京邮电大学》2014年博士论文

【摘要】：互联网时代到来之后,随着信息规模的迅速增长,各个计算领域需要处理大量数据,对系统硬件计算和存储等能力的要求也在不断提高。随着分布式计算、网格计算和并行计算的发展,产生了云计算这种新型的计算模式。云计算有着自身独特的优点：从硬件的角度来看,使用云计算技术用户可以按需获取看似无限的共享资源,消除了平台的前期投入；从技术的角度来看,云计算的出现使得服务提供商对大规模分布式系统的开发变得简单,云计算将程序员从繁复的底层硬件搭建和配置工作中解放出来,使他们专注于软件或系统的开发；从能源角度来看,云计算提供的资源可以按照用户需求自动伸缩,这可以提高数据中心利用率,减少能源消耗和气体排放,营造一个绿色计算环境。云计算的这些特点为一些传统系统和平台的发展带来了新的机遇。业务平台是基于面向服务的体系结构的,平台中可用的基本构件是服务,这些服务具有可互操作、模块化、位置明确和松耦合等特点。这种结构和特性使得我们可以用较低的成本以快速的、容易组合的方式去创建高度分布式的、协同的、动态变化的、共享的业务平台。但是在传统业务平台建设方面存在着建设周期长、开发运营成本高、持续投资大、资源利用率较低、内容和信息不能共享等诸多问题,传统业务平台的这些问题阻碍了平台的发展。若采用传统的业务网络架构,即使进行了向水平融合的业务平台演进,也很难从根本上解决传统业务平台所面对的问题。云计算及其相关技术的出现,为解决目前业务平台存在的问题提供了可能性,因此构建云化业务平台很有必要。首先,业务平台改进的目标是业务内解耦、业务间融合,这与云计算的理念相似；其次,在业务平台构建过程中及早应用云计算技术不仅有助于解决当前业务平台存在的问题,还有助于未来系统的发展。总体来说,通过在业务平台的搭建过程中使用云计算技术,可以充分利用云计算按需获取、随取随用的特点缩短业务平台的建设周期,并降低平台的前期投入；利用云计算可伸缩的特点,可以依据业务平台资源需求情况动态伸缩平台资源,降低运营成本、提高资源利用率；云计算可以向不同的用户提供各种资源和服务的共享,这也使得水平融合的业务平台成为了可能。云计算一个重要特点就是可以向用户提供可伸缩的资源,为了在云化业务平台中更好地体现应用云计算技术的优越性,本文对云化业务平台中可伸缩性相关问题进行了研究。主要工作集中在以下几个方面： 1.提出一种云化业务平台负载预测算法,通过对云化业务平台负载的预测,为平台自动伸缩提供判断依据。在云计算环境中,平台的负载情况是动态变化的,可以通过增加虚拟资源来满足增加的负载需求,但是增加虚拟资源会耗费一定的时问,根据具体情况由几毫秒到几分钟不等,在这段时间内增加的资源不能马上为用户提供服务。为了解决这个问题,本文提出一种云化业务平台组合负载预测算法,算法可以对云化业务平台的负载进行准确的预测,这样平台就能够在性能发生问题之前提前发现负载的趋势,预先满足平台的资源需求。根据云化业务平台中负载特点的分析,方法在资源利用率较高时使用线性回归模型对服务负载进行预测,在资源利用率较低时使用改进的KMP字符串匹配算法对服务负载进行预测,通过两种方法的结合能够在不影响平台性能的基础上准确地预测服务负载,这种组合预测方法与以往的预测方法相比结果更准确。 2.通过构建基于负载预测的云化业务平台资源伸缩算法,使用分层伸缩技术伸缩平台资源,在满足资源需求的基础上提高资源利用率并降低平台成本。在云计算环境中,过度分配资源或分配资源不足会对平台成本和性能造成影响,系统需要根据平台负载的预测结果或平台实时状态的分析得到平台资源的需求,并根据平台资源的需求和平台请求的资源使用情况对平台的资源进行伸缩。在云平台资源伸缩问题上需要对多个目标综合考虑。首先,平台的最主要目标是为用户提供优质的服务,所以平台资源的伸缩需要将满足用户服务质量需求作为最基本目标。其次,在满足用户需求的基础上,需要尽可能的减少虚拟资源的使用,降低系统成本。云化业务平台资源伸缩算法是在实时伸缩和预伸缩两个阶段,构建成本模型,基于自伸缩、资源层伸缩和虚拟机层伸缩三个伸缩层次进行伸缩的,达到了降低平台成本,减少资源使用的目的。通过对三个层次伸缩方法特点的分析可知,自伸缩和资源层伸缩适合实时的资源调整规模较小的情况,而虚拟机层伸缩适合对实时性要求不高的资源调整规模较大的场景。所以,通过构建伸缩成本模型,在预伸缩过程中,根据平台负载预测结果对平台进行虚拟机层和资源层的伸缩；在实时扩展过程中,对平台进行自扩展和资源层扩展；在实时释放过程中,对平台进行虚拟机层和资源层的资源释放。 3.提出一种针对云化业务平台中的通信密集型应用的部署算法,为伸缩后服务的部署提供部署方案,以达到降低平台服务延迟和通信负载的目的。虚拟资源分配是云计算技术的一个重要组成部分,其效率直接影响整个云计算环境的工作性能。在云化业务平台中,如何将虚拟资源合理地分配给不同的应用也是一个关系到平台服务性能和可伸缩性的关键问题。现有的部署方法有两个主要缺点,首先,当前服务部署方法大多是基于虚拟机资源使用情况和资源成本的,这种方法适用范围比较广泛,但是对每种类型的应用的针对性不强,有时不能达到非常理想的效果。其次,现有部署方法大多都是离线部署方法,是对若干个服务的整体规划,这种方法可以得到一个整体范围内的最优部署方案,但是这种部署方法不适用于云化业务平台中服务种类和数量动态增减的情况。对于通信密集型应用,系统瓶颈通常发生在网络带宽上,方法的思想是选取通信负载较大的服务部署在通信性能较好的云节点上,部署算法将虚拟机资源的在线部署方法和离线部署方法结合,提出了一种将服务的通信开销作为衡量指标的通信密集型应用部署方法,最终降低了平台服务延迟和通信负载。 4.提出一种云化业务平台中服务自动化部署机制,通过构建云化业务平台中服务、虚拟资源和硬件设备的实体关系模型,根据模型中数据的监测获得服务相关数据并得到服务部署请求,然后根据实体间的关联自动地在平台中选择相应的虚拟资源和硬件设备来部署服务,实现服务部署的自动化。本文通过对以上内容的研究,改进了云化业务平台的可伸缩性。
[Abstract]:......
【学位授予单位】：北京邮电大学
【学位级别】：博士
【学位授予年份】：2014
【分类号】：TP393.09

【参考文献】