基于边缘计算的多集群容器云资源调度机制研究与实现

发布时间：2020-11-02 17:39

　　 新一代信息技术的不断发展,给互联网产业带来深刻变革的同时,也对计算模式提出了新的要求。集中式云计算无法满足海量边缘数据处理的计算资源和带宽要求,也无法满足应用的实时性和隐私性需求。由于云计算的不足,边缘计算概念开始被广泛关注。分布式的边缘计算模型被认为是云计算的一种补充和扩展,通过将云的计算能力下沉至用户附近,能够有效缓解云中心的计算负载和核心骨干网的带宽压力。任何计算模型都离不开底层虚拟化技术的支持,容器虚拟化由于其高效的性能,被认为是未来边缘计算实现的底层技术基础。考虑到边缘环境中资源受限和异构的特点,研究以容器为载体的应用在有限资源中的调度问题是目前边缘计算的一个主要研究方向。由于边缘计算尚未具备成熟的标准和体系,本文通过将容器技术与边缘计算结合,搭建边缘容器云集群,从实际应用出发,研究多个边缘容器云集群的工作框架及其资源调度策略。本文首先对多集群环境下边缘容器云负载的时空差异性以及边缘应用的时延敏感需求差异性进行分析,提出了一种采用主从模式管理的多集群边缘云框架。框架分为边缘云集群和协同层两部分,边缘云集群执行具体的工作负载,协同层负责边缘集群和边缘应用的管理。框架将边缘应用分为两类,时延敏感应用和时延不敏感应用,并通过域名进行区分。其中时延敏感应用请求直接在附近的边缘云处理,时延不敏感应用请求则通过协同层来完成请求代理和转发,有效解决多集群边缘云协同调度下的应用定位问题。在此基础之上,本文研究了框架中时延敏感应用的资源调度问题。考虑到时延敏感应用往往要求很高的服务质量,但是在应用负载动态变化的边缘环境中,响应式动态伸缩策略由于其滞后性并不能提供有效的服务保障。针对这一问题,本文提出了一种基于灰色模型和加权移动平均模型的主动式动态伸缩策略,本文将其简称为GMHPA(Gray and Moving for Horizontal Pod Autoscaling strategy)。GMHPA利用灰色模型对应用负载预测,并与监测实际值进行对比判断负载变化趋势,然后根据变化趋势,选择不同模型预测结果计算应用副本数目。实验表明,GMHPA策略相比现有的响应式策略,可有效实现时延敏感应用在负载上升时提前扩容,在负载下降时滞后缩容,更好的满足应用的服务质量要求。最后针对多集群环境下边缘容器云负载的时空差异性,为提高集群整体资源使用率,本文提出了一种时延不敏感应用的跨集群资源调度策略,简称为DICCS(Delay Insensitive Cross-Cluster Scheduling)。该策略将调度过程分为三步:首先对集群按照负载使用率进行分类,然后根据分类结果,在高负载集群中按照调度触发因素选择待调度应用,最后为待调度应用分配目的集群。实验证明,DICCS策略能有效完成时延不敏感应用的跨集群调度功能,提高集群的资源使用率,实现集群间的负载均衡。
【学位单位】：山东大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TP393.09
【部分图文】：

图１－１大数据时代的多样化应用??根据思科报告，预计到２０２０年将有５００亿设备实现智能互联，全球数据总量将??会达到４０ＺＢ，万物互联的时代己经到来［１］。如图１－１所示，大数据时代下智能设备??正在从数据消费者的单一角色向生产者和消费者的双重角色转变，这些设备产生??了海量的数据处理需求，对现有的集中式云计算架构提出了严峻的挑战。??为了更好的满足边缘侧的“大连接、低时延、大带宽”需求，尤其在物联网、??工业控制、车联网、无人驾驶等领域，边缘计算（ＥｄｇｅＣｏｍｐｕｔｉｎｇ）的概念应运而??生。不同于云计算的集中式架构，边缘计算是一种分布式的计算模型，通过利用边??缘设备的计算和存储资源，实现对边缘数据的过滤、处理和决策，有效缓解云中心??业务和网络带宽压力［２］。??边缘计算作为一种新型的计算模型，背后离不开虚拟化技术的支持。近年来，??容器虚拟化作为一种轻量级虚拟化技术受到广泛关注。与传统主机级虚拟化技术??不同

逐渐被淘汰。??虚拟化层翻译技术则是通过在物理机器与虚拟机之间增加一个ｈｙｐｅｒｖｉｓｏｒ层，??来实现物理机与虚拟机、虚拟机与虚拟机之间的隔离和协调，如图２－１所示。这种??方式使得虚拟机可以使用真实物理机的硬件资源，不再使用纯软件进行模拟，大大??提高了虚拟机的运行效率。虚拟化层翻译技术又可根据ｈｙｐｅｒｖｉｓｏｒ是直接运行在物??理机还是运行在物理机上的操作系统中分为裸金属型和宿主型。具体代表技术有??改造内核的虚拟化技术硬件虚拟化技术ＫＶＭ［４６］。??虚拟机１?虚拟机２?虚拟机３??？?１?？—?？一?■?—?＊?—??１??ｉ?应用ａ?ｊ?ｉ?应用ｂ?ｊ?ｉ?应用ｃ?ｊ??ｊ１?＊ｉ?｜Ｌ————Ｊ?ｊ?ｊ——??ｉ?Ｉ．?ｉ?■?ｊ?■??ｊ?Ｂｉｎｓ／Ｌｉｂｓ?！?ｊ?Ｂｉｎｓ／Ｌｉｂｓ?．?ｊ?Ｂｉｎｓ／Ｌｉｂｓ?｜??ｊ?＝＾ｉ?ｊ?……ｉｐｒ?＝ｄｊ??！?虚拟机操作系统?ｉ?！?虚拟机操作系统?ｉ?！?虚拟＋几操作系统?ｉ??Ｍ?ｌｊ?丨Ｉ?ｊ?ｎ?１?ｌｊ??Ｌ??Ｌ??？?Ｌ?■??虚拟监视器（ｈｙｐｅｒｖｉｓｏｒ）??Ｉ?＇?Ｉ??Ｉ?锪理娜作系统?Ｉ??Ｉ??????Ｊ??锪睡几??图２－１虚拟化层翻译技术技术架构图??无论是纯软件模拟还是虚拟化层翻译，其本质上都需要在物理机上运行完整??的虚拟机操作系统。主机级的虚拟化方式优点是十分灵活，甚至支持在同一物理机??上运行Ｗｉｎｄｏｗｓ和Ｌｉｎｕｘ不同的操作系统。但是这种方式的缺点也十分明显，每个??虚拟机都需要运行所需操作系统和应用软件的完整副本

逐渐被淘汰。??虚拟化层翻译技术则是通过在物理机器与虚拟机之间增加一个ｈｙｐｅｒｖｉｓｏｒ层，??来实现物理机与虚拟机、虚拟机与虚拟机之间的隔离和协调，如图２－１所示。这种??方式使得虚拟机可以使用真实物理机的硬件资源，不再使用纯软件进行模拟，大大??提高了虚拟机的运行效率。虚拟化层翻译技术又可根据ｈｙｐｅｒｖｉｓｏｒ是直接运行在物??理机还是运行在物理机上的操作系统中分为裸金属型和宿主型。具体代表技术有??改造内核的虚拟化技术硬件虚拟化技术ＫＶＭ［４６］。??虚拟机１?虚拟机２?虚拟机３??？?１?？—?？一?■?—?＊?—??１??ｉ?应用ａ?ｊ?ｉ?应用ｂ?ｊ?ｉ?应用ｃ?ｊ??ｊ１?＊ｉ?｜Ｌ————Ｊ?ｊ?ｊ——??ｉ?Ｉ．?ｉ?■?ｊ?■??ｊ?Ｂｉｎｓ／Ｌｉｂｓ?！?ｊ?Ｂｉｎｓ／Ｌｉｂｓ?．?ｊ?Ｂｉｎｓ／Ｌｉｂｓ?｜??ｊ?＝＾ｉ?ｊ?……ｉｐｒ?＝ｄｊ??！?虚拟机操作系统?ｉ?！?虚拟机操作系统?ｉ?！?虚拟＋几操作系统?ｉ??Ｍ?ｌｊ?丨Ｉ?ｊ?ｎ?１?ｌｊ??Ｌ??Ｌ??？?Ｌ?■??虚拟监视器（ｈｙｐｅｒｖｉｓｏｒ）??Ｉ?＇?Ｉ??Ｉ?锪理娜作系统?Ｉ??Ｉ??????Ｊ??锪睡几??图２－１虚拟化层翻译技术技术架构图??无论是纯软件模拟还是虚拟化层翻译，其本质上都需要在物理机上运行完整??的虚拟机操作系统。主机级的虚拟化方式优点是十分灵活，甚至支持在同一物理机??上运行Ｗｉｎｄｏｗｓ和Ｌｉｎｕｘ不同的操作系统。但是这种方式的缺点也十分明显，每个??虚拟机都需要运行所需操作系统和应用软件的完整副本
【相似文献】

相关期刊论文 前10条

1 李玉;石小林;;考虑倒垛情况的场吊调度问题研究[J];交通运输工程与信息学报;2017年02期

2 沈益民;范玉顺;;调度问题微结构及柔性优化方法[J];自动化学报;2006年02期

3 董平;机器调度问题及求解方法[J];物流技术与应用;1997年01期

4 杨自厚,李宝泽,高志远;钢铁厂煤气资源的最优分配[J];冶金自动化;1988年03期

5 朱继忠,徐国禹;电力系统有功安全经济再调度[J];重庆大学学报(自然科学版);1989年06期

6 鄢勇,刘键;同步并行任务流图的最佳近似调度[J];电子学报;1989年05期

7 刘长有;李磊;;一种电网经济调度问题的分布式对偶优化解法[J];山西建筑;2016年33期

8 周龙飞;张霖;刘永奎;;云制造调度问题研究综述[J];计算机集成制造系统;2017年06期

9 刘志雄;;求解调度问题的粒子群算法编码方法研究[J];武汉科技大学学报;2010年01期

10 王璇;刘世峰;刘达;;基于“实时智能”方法的港口物流调度问题研究[J];物流技术;2009年12期

相关博士学位论文 前10条

1 孙德峰;钢铁原料物流计划与调度的建模及最优化方法研究[D];东北大学;2016年

2 文晶;风电集群接入电力系统的源荷协调优化调度模型研究[D];华北电力大学(北京);2015年

3 刘迪迪;能量捕获无线网络的传输调度和能量管理研究[D];西安电子科技大学;2018年

4 侯爱琴;高性能网络中面向大数据传输QoS的带宽调度研究[D];西北大学;2018年

5 袁媛;钢铁生产与物流调度的时空建模和凸优化方法[D];东北大学;2017年

6 谭龙华;控制性能导向的实时系统调度参数优化研究[D];西北工业大学;2016年

7 郭庆新;改进智能优化方法及在有色金属工业调度中的应用研究[D];东北大学;2016年

8 唐猛;自动小车存取系统建模及调度优化研究[D];武汉大学;2015年

9 谢杏子;若干单件订单接受与加工调度问题及其优化方法研究[D];南京理工大学;2016年

10 常永刚;露天矿运输系统优化与卡车调度问题研究[D];沈阳工业大学;2018年

相关硕士学位论文 前10条

1 谢获;考虑设备维护的炼钢—连铸调度问题研宄[D];沈阳工业大学;2019年

2 马明睿;柔性设备协同制造的网络综合调度算法研究[D];哈尔滨理工大学;2019年

3 姚学儒;公共自行车租赁点选址以及调度优化方法研究[D];内蒙古大学;2019年

4 陈先康;基于维护意意义下带特定条件的的调度问题研究[D];贵州大学;2019年

5 王博;基于边缘计算的多集群容器云资源调度机制研究与实现[D];山东大学;2019年

6 裴杰;基于改进蚁群算法的绿色单机调度问题研究[D];郑州轻工业大学;2019年

7 王大国;柔性作业车间多目标动态调度模型及算法研究[D];浙江工业大学;2018年

8 余杨清;装配式建筑多供应商分布式协同调度研究[D];武汉理工大学;2018年

9 胡国正;基于改进人工蜂群算法的风电经济调度问题研究[D];深圳大学;2018年

10 李梓锋;基于可消纳域的风电集群有功分层调度策略研究[D];东北电力大学;2019年

本文编号：2867350