大规模环境下容器技术的研究与优化

发布时间：2020-06-21 16:16

【摘要】：近年来,以Docker为代表的容器技术,凭借其轻量、敏捷等优异特性,正在快速取代虚拟机成为新一代的底层计算模型。在此基础之上,CNCF以容器编排引擎Kubernetes为核心构建的庞大技术生态则在稳步推动互联网底层的传统架构向云原生架构的演进。然而面对大规模场景下极端而又复杂的生产环境,以容器技术为核心的新一代架构体系依旧存在诸多不足。本文针对其中若干核心问题进行了深入研究并提供了切实有效的解决方案,对大规模场景下,架构的云原生化演进做了初步的探索。容器化是架构演进以及后续研究工作的前提,虽然容器的“单进程模型”完美契合了应用架构微服务化的未来趋势。然而它对应用巨大的侵入性使其无法在有着复杂多样存量应用的大规模场景顺利落地。因此本文提出一种新的“富容器进程模型”,它对现有的应用架构和运维体系具有零侵入性,从而能够实现大规模存量业务的快速容器化。在全面实现容器化之后,面对大规模的容器部署,传统的基于主从模式的容器镜像分发方式将成为系统的瓶颈所在,并可能进一步影响系统整体的稳定性。因此本文对镜像分发方式由主从模式向P2P模式的演进进行了深入研究,并基于BitTorrent协议设计实现了一套全新的具有良好性能和扩展性的镜像分发系统,较好地规避了镜像相关问题可能对系统造成的不良影响。然而大规模环境下,单一的容器运行时部署往往无法完全覆盖复杂多样的应用场景,因此需要混合部署多种容器运行时以实现场景全覆盖。但是由于一系列因素导致现有容器标准的建立以及其上生态的构建都对基于操作系统虚拟化的容器运行时具有明显的偏向性,网络方面尤其突出。因此,本文提出通过多级中继网桥进行二层流量转发的方法,巧妙实现了多种容器运行时对容器网络标准CNI以及构建其上的各种容器网络方案的兼容,从而构建异构网络用以支持多容器运行时的混合部署。容器层面的技术完备之后,大规模场景下,容器引擎只有与容器编排调度系统有效协同才能真正完全释放容器化带来的技术红利。然而两者之间无论从设计理念还是实现方式上都存在较大区别。因此,本文针对两者的兼容性问题展开研究并解决了其中的若干关键问题,从而确保能够将底层容器引擎强大的功能通过容器运行时接口CRI,以标准化的方式传递至上层编排调度系统。
【学位授予单位】：浙江大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP393.09
【图文】：

相关技术综述逡逑？逦自定义调度器，满足用户定制化的调度需求逡逑当然，Ｋｕｂｅｍｅｔｅｓ优良的架构是上述特性得以存在的基础。如图２．１所示，作为逡逑一个分布式系统，Ｋｕｂｅｒｎｅｔｅｓ由Ｍａｓｔｅｒ和Ｎｏｄｅ两类节点构成。逡逑Ｍａｓｔｅｒ节点是集群的控制核心，其中的三类组件Ａｐｉ－Ｓｅｒｖｅｒ，逡逑Ｓｃｈｅｄｕｌｅｒ，Ｃｏｎｔｒｏｌｌｅｒ－Ｍａｎａｇｅｒ分别用于集群的ＡＰＩ服务，调度服务以及编排逡逑服务。集群的状态数据统一由Ａｐｉ－Ｓｅｒｖｅｒ存储在分布式键值数据库Ｅｔｃｄ中，而逡逑其他组件只能通过访问Ａｐｉ－Ｓｅｖｅｒ间接获取Ｅｔｃｄ中的集群状态信息。逡逑ｒ邋ｋｕｂｅｃｔｌ〕逦＾逦』逡逑ｖＪ邋ｅｔｃｄ逡逑Ｍａｓｔｅｒ逦￣逡逑ｒ邋ｃｏｎｔｒｏｌｌｅｒ＾逦（￣￣Ｔ＂＊逦＾逦￣＾逡逑ｌ邋ｍａｎａｇｅｒ邋Ｊ￣￣NB邋叩卜ｓｅｒｖ叶￣￣［邋ｓｃｈｅｄｕｌｅｒ邋Ｊ逡逑／邋ｉ邋＼逡逑Ｎｏｄｅ邋．．．．邋Ｎｏｄｅ邋．．．．邋Ｎｏｄｅ逡逑图２．１邋Ｋｕｂｅｍｅｔｅｓ总体架构逡逑与本文研究内容关系更为密切的是Ｎｏｄｅ节点。提交给Ｋｕｂｅｒｎｅｔｅｓ集群的任逡逑务，通过Ｍａｓｔｅｒ节点的编排调度，最终落实到Ｎｏｄｅ节点创建运行服务相关的容逡逑器。如图２．２所不，在Ｎｏｄｅ节点上，Ｋｕｂｅｒｎｅｔｅｓ的原生组件为Ｋｕｂｅ－Ｐｒｏｘｙ和逡逑Ｋｕｂｅｌｅｔ。其中Ｋｕｂｅ－Ｐｒｏｘｙ用于对网络流量进行代理以及进行相关的负载均衡工逡逑作。而Ｋｕｂｅｌｅｔ作为每个节点的Ｎｏｄｅ邋Ａｇｅｎｔ，具体负责其所在节点的Ｐｏｄ的生命逡逑周期管理。对于Ｐｏｄ可以暂时将其看作Ｋｕｂｅｍｅｔｅｓ对于容器概念的进一步的抽逡逑象封装

逦相关技术综述逡逑图２．３基于虚拟机的容器技术逡逑事实上，业界对基于虚拟机的容器技术早有探索。从最早Ｇｏｏｇｌｅ提出的ｎｏｖｍ逡逑（已废弃）以及发表在ＳＯＳＰ’１７上对于ＬｉｇｈｔＶＭ［２３］的相关研宄，再到Ｈｙｐｅｒ．ｓｈ逡逑的ｍｎＶ和Ｉｎｔｅｌ的ＣｌｅａｒＣｏｎｔａｉｎｅｒ项目，以及最终结合两者优势合并而成的Ｋａｔａ逡逑Ｃｏｎｔａｉｎｅｒ对该设想的最终落地，该领域的发展一直连续而平稳。逡逑Ｋａｔａ邋Ｃｏｎｔａｉｎｅｒ作为基于虚拟机的容器技术的集大成者，它在提供接近容器逡逑的体验和性能的同时保证了虚拟机级别的安全性和隔离性。另外，它被设计为可逡逑以无感运行于多种ｈｙｐｅｒｖｉｓｏｒ邋（ＫＶＭ，Ｘｅｎ）之上并且与ＯＣＩ容器技术标准兼容，逡逑有效地保证了其通用性。逡逑Ｋａｔａ邋Ｃｏｎｔａｉｎｅｒ的架构如图２．４２所示

【相似文献】

相关期刊论文 前10条

1 李剑芳;;“佛山传统文化”如何融入“容器造型”教学[J];山海经;2018年21期

2 胡珊;;现代容器开启过程的用户体验研究[J];工业设计研究;2016年00期

3 ;山东工艺美术学院教师彭建祥、朱小尧、王付银包装容器设计作品选[J];包装世界;2011年02期

4 纪璐;韩冰;;形式美法则在包装内容器设计中的应用[J];大众文艺;2011年06期

5 许秦蓉;吕剑;;基于通用设计原则的包装与容器设计[J];包装工程;2011年24期

6 刘来福;;GY-82型超高压容器设计及试制[J];天然气工业;1987年03期

7 刘昌信;毛仲高;;压力容器一百问[J];井矿盐技术;1987年05期

8 陈启松;;计入σ_6~'时卧式容器的优化设计[J];江苏机械;1987年04期

9 余群跃;;对“卧式容器设计”有关问题的讨论——兼谈对JB1167-81《鞍式支座》的一点看法[J];石油化工设备技术;1987年02期

10 裴俊厚,汪广海;压力式LPG船货舱容器在试水状态下的应力分析[J];舰船科学技术;1988年05期

相关会议论文 前10条

1 王定贤;胡昊;王万鹏;李艳霞;;基于动力系数法的爆炸容器设计[A];第六届全国爆炸力学实验技术学术会议论文集[C];2010年

2 曹惠;卢红标;赵跃堂;;超高压力爆炸容器设计及验算[A];第一届全国工程安全与防护学术会议论文集[C];2008年

3 李国树;;玻璃钢管道与容器设计软件的最新进展[A];第五届玻璃钢/复合材料新技术新材料高层论坛论文汇编[C];2013年

4 李勤;李福宝;;半圆管夹套容器设计标准分析与评述[A];第五届全国压力容器学术会议论文集[C];2001年

5 陈志伟;寿比南;郑津洋;;大型多鞍座卧式容器设计方法分析[A];第六届全国压力容器学术会议压力容器先进技术精选集[C];2005年

6 李国树;;玻璃钢管道与容器设计技术的最新进展[A];中国玻璃钢原材料市场暨玻璃钢最新技术工艺高层论坛论文集[C];2009年

7 杨久春;;玻璃钢容器设计中的常见问题及解决方法[A];第十九届玻璃钢/复合材料学术交流会论文集[C];2012年

8 李涛;陈志伟;张涛;郑津洋;寿比南;杨国义;;基于失效模式的超高压容器设计方法介绍[A];压力容器的创新设计——第九届全国压力容器设计学术会议暨第八届压力容器分会设计委员会委员会议论文集[C];2014年

9 王静;邱金梁;郭杨;;基于ANSYS高压分离器的应力分析[A];第十三届沈阳科学学术年会论文集（理工农医）[C];2016年

10 姚天禄;;绕制式电容器设计的适用性及其计算机模拟验证[A];中国电子元件行业协会电容器分会有机电容器专业委员会第十一届技术交流会论文集[C];2009年

相关重要报纸文章 前3条

1 本报记者 廖重斌;广州市民热评垃圾箱[N];中国环境报;2003年

2 记者 刘晓华;浪漫时尚的大连欢迎您[N];大连日报;2015年

3 苗苗;志存高远绘宏图[N];石油管道报;2007年

相关博士学位论文 前2条

1 马歆;自保护快速启闭式超高压海产品加工容器关键技术研究[D];浙江大学;2006年

2 开方明;铝内衬轻质高压储氢容器强度和可靠性研究[D];浙江大学;2007年

相关硕士学位论文 前10条

1 张琼;云环境中安全容器动态迁移的研究[D];北京邮电大学;2019年

2 张城城;基于Docker的容器集群管理平台的研究与实现[D];北京邮电大学;2019年

3 姚增增;大规模环境下容器技术的研究与优化[D];浙江大学;2019年

4 韩宁;记忆元件的电学特性分析及应用研究[D];长安大学;2018年

5 裴梦琛;新型搅拌器结构设计与性能研究[D];西北大学;2018年

6 崔伟;外压薄壁容器稳定性模拟分析与研究[D];长春理工大学;2018年

7 张浩;基于Kubernetes的数据中心异构容器运行时设计与实现[D];浙江大学;2018年

8 贺斌;基于入场物流成本视角的DNZ公司汽车零部件容器运营模式对比研究[D];郑州大学;2018年

9 田森;基于RunV容器的网络存储优化的设计与实现[D];华中科技大学;2016年

10 袁昊;铅铋反应堆主容器疲劳、蠕变及裂纹分析[D];华北电力大学(北京);2015年

本文编号：2724317