基于Docker和Kubernetes的深度学习容器云平台的设计与实现

发布时间：2020-06-07 15:35

【摘要】：随着人工智能技术蓬勃发展,新兴科学技术已经渗透到新时代人类的日常生活和国家发展,人民切实感受到了科技带来的力量。深度学习作为人工智能强有力的助推器,在科技发展中显得尤为重要。就目前国内计算机科学行业形势来看,我国在人工智能领域的建树与欧美发达国家相比仍有很大差距,缺少核心技术,仍处于追赶期。发展受阻的因素有很多,比如计算资源维护成本高昂,行业门槛相对较高,以及人才匮乏等,这些都是阻碍人工智能在中国发展的绊脚石。为尽可能从技术和成本上降低人工智能的门槛,提升国内中小企业以及个人开发者的效率,本文利用容器技术、容器编排技术、以及如Tensorflow、Caffe、Pytorch等用于机器学习、深度学习的框架,来打造一个稳定、易用、易扩展的深度学习平台。平台提供模型开发,模型训练,模型服务三大功能,可以实现秒级创建任务开发环境,一键运行模型训练批处理任务和一键发布模型服务。同时平台提供GPU分时复用、任务管理、分布式存储、以及任务监控与报警。此外,平台提供多种计算资源选择,可以自由控制所用资源多少,是一个完备的深度学习平台。本人参与了深度学习平台的开发全过程,具体内容如下:(1)协助产品经理完成平台用户需求分析整理,精简出最关键的需求;(2)与架构师一起对平台进行总体设计,并对部分关键组件提前调研;(3)实现镜像仓库的搭建、维护,以及镜像编制;(4)完成调度系统Minion-proxy以及状态机的的设计与实现;(5)完成存储系统与平台的对接;(6)完成三种模型任务的实现。当前系统已经正式发布商用,已有超过500位用户。平台简单易用,使用户告别了复杂的环境配置,提高了资源利用率,大大降低了开发成本。平台还有完备的技术手册和各阶段实例,极大地方便了用户的使用。
【图文】：

架构图,架构,操作系统,虚拟机技术

机的操作系统；而虚拟机技术是在宿主机的操作系统上又虚拟出一套用于虚拟机逡逑的操作系统，这样无形中增加了开销［８】。此外，Ｄｏｃｋｅｒ具有快速启动、容易编写逡逑镜像文件等天然优势，是当今互联网云服务应用部署的载体［９］。图２－１为Ｄｏｃｋｅｒ的逡逑架构图。逡逑图２邋－邋］邋Ｄｏｃｋｅｒ架构图逡逑Ｆｉｇｕｒｅ邋２邋－邋１邋Ｄｏｃｋｅｒ邋Ａｒｃｈｉｔｅｃｔｕｒｅ邋Ｄｉａｇｒａｍ逡逑７逡逑

计算服务,举例说明,定制化,计算机视觉

逡逑图２＿２是三种服务的举例说明。其中ＩａａＳ层提供ＣＰＵ服务器以及ＧＰＵ服逡逑务器支持，其中包括物理机和虚拟机；ＰａａＳ层包含了基于ＩａａＳ层而构建的各种逡逑即时可用的服务，如存储服务、计算服务、数据资源服务、以及算法模型服务等；逡逑ＳａａＳ层则是基于ＰａａＳ层的多种服务整合而成的、可以对外提供更高级输出能力逡逑的服务，如计算机视觉服务、语言处理服务、ＯＣＲ服务等等，一般提供ＡＰＩ接逡逑口供移动软件或Ｗｅｂ服务进行调用，提供第三方开发接入能力；将这些ＳａａＳ服逡逑务进行定制化打包，，即可把云服务连接到现实场景中。如安防场景可能需要对视逡逑频进行视觉分析，对应的垂直解决方案就是由定制化训练的计算机视觉服务所提逡逑供的。逡逑垂耀％方案逡逑ＳＡＡＳ逡逑ｉ逦—，ｇ１１ｆｉ＇—ｉ逡逑逦逦逦——邋逦—逦逦—逦逦逦逦—邋邋邋邋邋邋逡逑１ＡＡＳ逡逑—、逡逑ＩＩＥＳＳＩ邋ＢＳＳＩ邋ＩＥＳ９Ｉ邋ＩＢＥ９逡逑：、邋—邋邋邋邋邋邋邋邋—．—逦逦————．．．邋—邋邋邋邋．
【学位授予单位】：北京交通大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP393.09;TP18

【参考文献】