QoS保证的数据中心动态资源供应方法

发布时间：2020-04-29 03:01

【摘要】：在满足应用QoS的前提下,提高系统的资源利用率,是数据中心资源管理的一个难点,原因在于应用的资源消耗是动态变化的.为了保证应用的QoS,需要实时预测应用的资源需求,并以此为基础动态按需供应资源.已有的资源预测算法可以分为两类:一类需要与应用进行实时交互以监测负载和性能,预测精度高,但扩展性差;另一类只需要在外部监测应用的资源消耗,扩展性好,但是现有算法的预测精度较低.该文针对第二类方法的不足,结合全局及局部的资源消耗变化趋势来改进已有的预测算法.实验证明改进后的预测精确度可以达到95%以上.资源需求的动态变化会导致节点资源无法满足所有应用的QoS,常用的解决方法是采用虚拟机迁移进行负载平衡,但是迁移虚拟机会带来相当大的额外资源消耗.该文提出了一种作业资源匹配算法,对数据中心所有作业进行布局,使不同优先级、不同资源需求及变化规律的作业在节点上混合部署,不仅极大地降低了发生节点资源紧缺的频度,而且实验证明,该算法在相同的资源需求下,还能提高应用的性能.
【图文】：

负载变化,难点,资源需求,资源消耗

密集、网络密集等．并且，应用的资源需求还随着时间动态变化，尤其是在线网络应用．如图１所示为某互联网公司一台运行某在线游戏的４核节点连续２４小时ＣＰＵ负载的变化情况，波峰时的资源消耗为波谷时的数倍．为了节省软硬件成本，提高系统资源利用率，数据中心需要合理地调度各类作业并为其分配资源，使得系统资源有序复用，达到负载平衡．然而，应用对资源需求的多样性和动态性给资源管理带来了挑战：既要满足各个应用的服务质量（ＱｏＳ），又要提高系统的资源利用率．图１ＣＰＵ负载变化图应对这个挑战的难点之一是如何准确实时地预测应用的资源需求，从而动态地为应用供应资源．目前已有的预测技术根据输入可以分为两类：一类是根据应用当前的负载、性能和资源消耗来预测下一个时间周期的资源需求，由于应用的性能指标和负载的类型具有多样性，这类方法需要为每种应用设计不同的监控模块，而且要与应用进行交互以获得应用的当前性能及负载．因而，这类方法的一个显著不足就是通用性和扩展性差．另一类仅仅依据外围监测的资源消耗来预测，，已有预测机制有：线性增加、指数下降，大幅增加、小幅下降，服务分级等，这类方法的优点是简单实用，不足是预测机制太简单导致预测精度不高．本文针对第二类方法的不足，结合全局及局部的资源消耗变化趋势进行改进．应对这个挑战的难点之二是如何有效地动态供应资源．数据中心资源管理的目的是整合服务、平衡负载、充分利用资源，不仅需要提高单台节点的资源利用率，还需要平衡整个数据中心的负载．资源需求的动态变化会导致节点资源无法满足所有应用的ＱｏＳ，造成节点负载不均衡．常用的解决方法是通

架构图,资源管理,架构

租相同的资源，获得最大的利润）．文献［２３］的全局资源管理器的计算原则是取得最优的应用性能．本文也采用两层的资源管理框架：全局资源管理器在下发作业时，结合作业的优先级、资源需求以及资源消耗变化规律等属性特征和数据中心资源负载的分布状况，为作业选择合适的节点，混合部署作业，以减少同类资源竞争，避免节点负载过重，实现无需进行虚拟机迁移就能达到数据中心负载平衡的目的；局部资源管理器动态预测各个应用的资源需求，调整节点上各个容器的资源配置，保证高优先级应用的服务质量．图２作业资源管理架构３基于ＬｉｎｕｘＣｏｎｔａｉｎｅｒ的资源管理框架基于容器的资源管理系统架构如图２所示．用户通过客户端提交作业．中央管理器是系统的核心，包含作业调度器和全局资源管理器两个组件，主要职责是为作业寻找合适的执行节点．为了增强可靠性，一个数据中心至少配置两个中央管理器，通过ＺｏｏＫｅｅｐｅｒ①的领导者（Ｌｅａｄｅｒ）选举保证只有一个处于活跃状态．系统中除了中央管理器以及运行Ｚｏｏｋｅｅｐｅｒ的节点以外，其余所有节点都是执行节点．每台执行节点上都运行一个局部资源管理器，接收中央管理器下发的任务（一个作业包含若干个任务），并为每个任务创建一台轻量级的虚拟机（ＬｉｎｕｘＣｏｎｔａｉｎｅｒ）．数据中心中的所有节点共享一个分布式文件系统．用户通过浏览器可以查询作业调度器中的作业所处的状态（等待下发、已下发、正在执行、执行出错）、各个节点的资源使用状况及节点上运行的作业信息．作业调度器接收用户提交的作业，按照优先级排序，每次选择优先级最高的作业，向全局资源管理器申请资

【共引文献】