数据中心虚拟机放置方法的研究

发布时间：2020-08-23 23:05

【摘要】：随着计算机网络的不断发展,云计算成为了最流行的前沿技术之一。云计算以其灵活、便捷和按需提供资源的特性,吸引了很多工业界和学术界人们的关注。数据中心做为云计算的基础设施,也让很多IT提供商开始关注和建立他们自己的数据中心(例如:谷歌、微软、亚马逊、甲骨文等)。研究表明,合理的虚拟机放置方法能有效提高数据中心资源的利用率、减少数据中心整体任务的完成时间以及提高数据中心整体执行任务的吞吐量。本文将虚拟机放置方法分为动态放置和静态放置。动态放置,即虚拟机迁移,是虚拟机在执行任务过程中随着数据中心系统的需要,虚拟机在不同物理机之间改变位置;静态放置,即初始化放置,是虚拟机在执行任务之前根据数据中心系统的需要,将虚拟机安置到某个物理机或某个数据中心中,在执行任务结束前不会改变其位置。本文在全面分析现有数据中心虚拟机放置方法和相关研究工作的基础上,重点对数据中心虚拟机优化放置方法展开了深入的研究,并取得了一些创新和成果。本文的主要研究内容如下:1.通过虚拟机迁移提高数据中心物理机资源利用率,同时达到最小化虚拟机的迁移代价。随着数据中心不断发展的同时也带来了很多问题,其中如何提高数据中心资源利用率和如何减少数据中心中虚拟机的迁移代价是两个最主要的问题。现有的研究成果中要么只考虑物理机资源利用率最大化,要么只考虑虚拟机迁移代价最小化,这种单一优化目标的方法对于物理机资源的高使用率和带宽资源高使用率的数据中心来说是远远不够的。然而,很少有研究成果能同时对这两个目标进行优化。因此,本文针对这种物理机资源高使用率和带宽资源高使用率的数据中心提出了一种优化模型,该模型在多资源环境下(例如:内存、带宽、CPU和磁盘空间等)同时考虑物理机资源利用率最大化和虚拟机迁移代价最小化。由于该优化模型是NP-hard问题,因此提出了基于装箱算法的近似算法MinCost,该算法能获得近似的优化解。实验结果表明,提出的模型和算法可以有效提高数据中心物理机的资源利用率,同时达到最小化虚拟机迁移代价。2.通过优化虚拟机静态放置来减少数据中心整体任务完成时间。数据中心分为数据密集型和计算密集型两种。在计算密集型的数据中心结构中,访问响应时间对整个任务的完成时间有着很重要的影响;而在数据密集型的数据中心结构中,数据的传输时间是影响整个任务完成时间的重要因素。研究表明,合理的虚拟机静态放置方法能有效解决上述问题。好的虚拟机静态优化放置方法可以在计算密集型的数据中心中得到较少的访问响应时间,以及在数据密集型的数据中心中得到较少的数据传输时间。本文针对数据中心的两种类型,分别提出两种虚拟机静态优化放置模型,以便在数据中心中获得较小的整体任务完成时间。从模型上分析,计算密集型的虚拟机静态优化放置模型是一个线性规划问题,本文用分支界定算法来解该模型,算法的时间复杂度是O(2NM),同时本文也给出了贪心算法来解计算密集型的优化模型,该算法将时间复杂度降低至O(NNM)。数据密集型的虚拟机静态优化放置模型是一个NP-Complete问题,在本文中给出了相应的证明。同时,提出了启发式算法来解数据密集型的优化模型。实验结果表明,提出的方法能合理优化虚拟机静态放置的位置,有效地减少数据中心整体任务完成时间。3.基于虚拟机动态放置与静态放置相结合的方法来提高数据中心整体执行任务的吞吐量。先前大部分工作要么只考虑虚拟机动态放置方面问题,要么只考虑虚拟机静态放置方面的问题。很少有工作能研究虚拟机动态放置和虚拟机静态放置相结合的方法来解决问题。研究表明,只考虑动态放置或是只考虑静态放置已经不能满足现有数据中心对大量虚拟机任务处理的需求。然而,一个好的虚拟机放置策略是尽可能多的静态放置虚拟机到数据中心中去进行处理;同时,随着数据中心中物理机资源使用情况的变化,虚拟机不断的在不同物理机之间进行迁移,通过这种静态放置和动态放置相结合的方法来提高数据中心整体执行任务的吞吐量。本文提出的优化模型通过时间片技术将虚拟机静态放置和动态放置相结合,同时在动态放置的过程中使迁移代价达到最小。通过实验结果可知,提出的方法能有效地提高数据中心整体执行任务的吞吐量,并使迁移代价最小化。
【学位授予单位】：大连理工大学
【学位级别】：博士
【学位授予年份】：2018
【分类号】：TP302;TP308
【图文】：

资源环境,资源利用率,算法

数据中心系统会隔一小时触发一次算法ＭｉｎＣｏｓｔ。为了可以清楚直观地表达实逡逑验结果，在实验中运行一遍程序会随机生成２４组随机数，代表实际应用中每一小时对逡逑算法ＭｉｎＣｏｓｔ的触发。因此，在图２．３和图２．４中横坐标用２４个坐标轴代表２４个小时逡逑以及表２．１－表２．２用２４行代表２４小时，实验运行２０遍，给出平均值作为最终的实验结逡逑果。在文献［２６］中，Ｆｅｎｇ等人提出了一种Ｂａｒｇａｉｎ算法，得到了较好的物理机资源利用逡逑率，然而他们忽略了一个最重要的指标，就是数据中心虚拟机的迁移代价。因此，本章逡逑的实验与文献［２６］中提出的Ｂａｒｇａｉｎ算法进行了比较。逡逑２．５．１单资源环境下实验结果逡逑首先，比较一下ＭｉｎＣｏｓｔ算法和Ｂａｒｇａｉｎ算法在单资源环境下（以ＣＰＵ资源为例）物逡逑理机的资源利用率和虚拟机的迁移代价。其中，ＭｉｎＣｏｓｔ算法通过获得相对略低的资逡逑源利用率来换取相对可观的虚拟机迁移代价。实验结果如图２．３所示，ＭｉｎＣｏｓｔ算法和逡逑Ｂａｒｇａｉｎ算法得到的利用率都达到了邋９０％以上，相应地，ＭｉｎＣｏｓｔ算法的迁移代价都占逡逑物理机总资源的１１％以下

数据中心

目前在云应用平台上（例如Ｈａｄｏｏｐ平台），用并行计算的思想来减少任务完成时间是最逡逑根本的方法，该方法将大的数据任务分割成若干小的数据任务，每一个小任务由一个虚逡逑拟机（也叫计算节点）与其分配的数据节点来完成，如图３．１所示。逡逑然而，随着计算节点和数据节点不断的增加，在基于并行计算的大数据处理应用逡逑中，整体任务完成时间还是最大的瓶颈。因此，如何加快数据中心整体任务的完成时逡逑间，仍然是学者们最为关注和有待解决的问题。本章针对数据中心的数据密集型任务和逡逑计算密集型任务，分别提出了两个虚拟机静态放置的优化模型，以便在数据中心中得到逡逑最小化的整体任务完成时间。从模型上分析，计算密集型的模型是线性规划问题，用分逡逑支界定算法来解该模型，算法的时间复杂度是同时本文还给出贪心算法来解逡逑计算密集型的模型，该算法将时间复杂度降低至Ｏ（ｉＶＭ）。数据密集型的优化虚拟机静逡逑态放置模型是一个ＮＰ－Ｃｏｍｐｌｅｔｅ问题

思路,虚拟机,计算节点,方法

存在的问题逡逑衡只是并行计算的一种变形，该方法没有根本上优化数的优化调度方法和检测执行慢的任务方法同样没有从根完成时间进行优化，也没有对数据中心进行全局的优化一就是计算节点和数据节点之间的优化放置，因为一个任务完成时间变慢。文献［７０，７１］提出了在计算密集型数方法来得到最小的数据访问响应时间，但是文献［７０．７１］，必须要在所有的虚拟机中，筛选一些距离近的虚拟机就会使得一个大的计算任务在分成若千小的计算节点后，算节点不能进行优化处理，进而使得这个大的计算任务在文献［７0，７１］中虚拟机和数据节点是一对一的优化，即节点通信，反之亦然，如图３．２所示。这使得当两台虚时间都是最小的时候，只有一台虚拟机可以访问这个数这样对数据中心整体任务完成的时间有着很大的影响。最小化任务访问响应时间，因此他们的方法只能对计算一

【相似文献】