基于Docker的容器集群调度机制的设计与实现

发布时间：2020-04-10 03:04

【摘要】：云计算已经成为当今信息技术领域中最重要的概念,它以独特的按需付费模式改变了整个IT行业。云计算代表着计算和数据资源日益迁移到互联网上去的一个趋势,提供了新的IT基础设施和平台服务,顺应了当前全球范围内整合计算资源和服务能力的需求,为高效、可扩展和易用的软件开发和使用提供了支持和保障。随着容器技术的兴起,Docker凭借其轻量级和标准化,迅速成为了云平台的基础解决方案,同时也促进了云平台的飞速发展。如何更加高效地利用云平台资源成为一个重要的问题。由于任务的多样性和不确定性,资源需求也在不断变化。想要根据客户需求动态管理和提供资源,同时保证服务质量,就需要一种高效的资源调度机制。为了提高容器集群的资源利用效率,本文提出了一种基于Docker的容器集群调度机制。本文首先对云计算与Docker容器技术进行了研究,确定了以Docker作为集群的基础解决方案,然后对集群调度问题进行建模,提出一种基于图的流网络调度算法,并引入公平策略和抢占式调度,接着提出一种基于Docker的容器集群资源分配架构,并根据架构提出一种可扩展的资源分配算法。随后,本文设计了一种基于Docker的容器集群调度系统,实现了容器集群的高效调度机制,最后进行了一系列实验,验证了本文提出的调度机制能有效提高容器集群服务质量,并有着良好的资源利用效率。
【图文】：

套能够随处运行的自容纳单元。此外，容器与虚拟机还摆脱了对物理硬件的需求，允许逡逑我们更为高效地使用计算资源，从而提升能源效率与成本效益。容器和虚拟机之间的主逡逑要区别在于虚拟化层的位置和操作系统资源的使用方式，如图２－１所示。逡逑虚拟机会将虚拟硬件、内核（即操作系统）以及用户空间打包在新虚拟机当中，虚逡逑拟机能够利用“虚拟机管理程序”运行在物理设备之上。虚拟机依赖于ｈｙｐｅｒｖｉｓｏｒ，其通逡逑常被安装在系统硬件之上，这导致ｈｙｐｅｒｖｉｓｏｒ在某些方面被认为是一种操作系统。一旦逡逑ｈｙｐｅｒｖｉｓｏｒ安装完成，就可以从系统可用计算资源当中分配虚拟机实例了，每台虚拟机逡逑都能够获得唯一的操作系统和负载（应用程序）。简言之，虚拟机先需要虚拟一个物理环逡逑境，然后构建一个完整的操作系统，再搭建一层Ｒｕｎｔｉｍｅ，然后供应用程序运行。逡逑对于容器环境来说，不需要安装主机操作系统，直接将容器层（比如ＬＸＣ或逡逑ｌｉｂｃｏｎｔａｉｎｅｒ）安装在主机操作系统（通常是Ｌｉｎｕｘ变种）之上。在安装完容器层之后

逑ｓｃｈｅｄｕｌｅｒ和Ｈａｄｏｏｐ邋１．０中的ＪｏｂＴｒａｃｋｅｒ，调度进程将任务分配给物理机。中央式架逡逑构工作方式如图２－４所示，图中下方的一个方块代表一台物理机，一个圆圈代表一个任逡逑务，圆圈的不同颜色对应不同的工作负载（如Ｗｅｂ服务、批处理任务等）。所有的工作逡逑都由同一个中央调度器处理，所有的任务都遵循相同的调度策略运行。逡逑目前，容器集群中大多运行着多种不同的应用程序，由于所有任务都由唯一的调度逡逑器处理，处理这种异构工作负载对调度器的要求很高。不同应用程序对于集群资源的偏逡逑好不同，为了满足这些应用程序的需求，需要调度器开发针对性的调度策略；同时，单逡逑个调度器使得任务调度顺序的处理成为一个问题，调度程序如果没有经过精心设计十分逡逑容易导致等待队列中的任务积压。异构负载的需求和自身工作方式的限制使得中央式架逡逑构的调度程序往往比较复杂，不过中央式调度器依然依靠自身架构稳定，，实现简单的优逡逑势得到了业界的青睐。逡逑９邋？邋？邋？邋？逡逑ｆ—逦邋＼逡逑Ｓｃｈｅｄｕｌｅｒ逡逑＼逦逦逦＾逡逑□ｆａＨ逡逑图２－４中央式架构逡逑２３２两层式架构逡逑针对不同应用程序期望调度器以不同方式进行处理任务的需求
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP393.09

【相似文献】

相关期刊论文 前10条

1 张青;刘剑;朱晓民;;面向Docker的覆盖网络搭建探究[J];电信工程技术与标准化;2015年09期

2 佟凡;王小磊;李江域;屈武斌;赵东升;;Docker技术在生物信息学中的应用[J];军事医学;2016年07期

3 王鹃;胡威;张雨菡;陈铜;于鹏;赵波;张焕国;;基于Docker的可信容器[J];武汉大学学报(理学版);2017年02期

4 杨洪娇;;基于Docker的高校网站自动部署应用[J];无线互联科技;2017年16期

5 舒秦;;使用Docker建立民航气象通信子系统备份[J];电脑编程技巧与维护;2016年08期

6 张军利;;基于Power Systems的Docker发展研究[J];信息通信技术;2015年02期

7 蔡志强;;基于Docker技术的容器隔离性分析[J];电子世界;2017年17期

8 舒新峰;张文;王梦楠;;基于Docker的分布式程序判定系统设计与实现[J];实验室研究与探索;2018年06期

9 杨文林;谭曦;郭俊廷;王硕;;Docker脆弱性分析与安全增强[J];信息安全与技术;2016年04期

10 周运;;可执行的镜像——如何让你的开发环境docker化[J];通讯世界;2016年09期

相关会议论文 前1条

1 王远征;肖波;齐凌飞;;Docker取证方法研究[A];第32次全国计算机安全学术交流会论文集[C];2017年

相关博士学位论文 前1条

1 程功;Docker生物云计算平台分析松材线虫高通量测序数据的应用研究[D];东北林业大学;2015年

相关硕士学位论文 前10条

1 刘泰玮;基于Docker的容器集群部署管理平台的设计与实现[D];山东大学;2018年

2 刘锦福;基于Docker的直播云平台弹性调度系统设计及实现[D];北京邮电大学;2018年

3 李战;基于Docker的容器集群调度机制的设计与实现[D];北京邮电大学;2018年

4 李正寅;服务创新平台中基于Docker的弹性负载均衡功能的设计与实现[D];北京邮电大学;2018年

5 郭杨虎;微服务环境下docker容器调度策略的研究与实现[D];北京邮电大学;2018年

6 尹高;基于Docker的服务器运维平台的设计与实现[D];华中科技大学;2016年

7 孙庚泽;基于Docker的混合云应用编排方案研究[D];西安电子科技大学;2015年

8 仇臣;Docker容器的性能监控和日志服务的设计与实现[D];浙江大学;2016年

9 李伟;基于Docker的镜像组合技术研究与实现[D];华南理工大学;2017年

10 肖俊;基于Docker的跨主机容器集群自动伸缩设计与实现[D];西北大学;2015年

本文编号：2621659