天数机器学习一体机系统的设计与实现

发布时间：2020-05-17 19:25

【摘要】：随着机器学习和人工智能的快速发展,越来越多的开发者开始投入到该领域的学习和开发中来,很多传统行业也开始将数据科学引入到日常的运营生产活动中。然而并不是所有人都具备快速上手机器学习的能力,很多传统行业的工程师缺乏相应的基础,难以从数据中提取有效的价值。为了解决机器学习领域的入门难度大的问题,已有许多厂家推出基于公有云计算服务的机器学习托管平台,例如阿里的PAI平台、亚马逊的SageMaker等。但这些平台均需要上传数据,对于一些数据敏感型企业,将数据放在公有云平台不利于数据的安全保存,且运算资源昂贵,流量开销极大,不利于工程化的模型部署。基于私有云平台的快速机器学习模型开发平台成为了解决工程化痛点的途径。天数机器学习一体机系统是一个针对特定学校或企业的机器学习平台。封装了底层skydiscovery的核心功能并且为用户提供了完备的管理功能。整个系统分为流云平台、应用管理、文件管理、用户管理、资源管理、ide管理、镜像管理7个模块。可以帮助开发人员快速轻松地构建、训练和部署任何规模的机器学习模型,并且为管理员提供群组用户管理和总体资源管理的功能。整个系统采用B/S的架构风格,前端部分是基于vue构建的单页面应用,采用了组件化的开发方式,并且引入了 vuex来管理前端数据流。后端利用Flask构建简单的web服务器提供相应的接口。本文首先阐述了一体机系统开发的背景,描述了论文的主要工作。然后介绍了开发过程中使用到的主要技术。接着针对每个模块进行了详细的需求分析。然后从前端架构和组件角度对系统进行了总体设计,并且由需求分析的结果对重点模块进行了详细设计。基于设计方案,结合代码和运行界面描述了总体和模块的实现关键点。最后,针对一体机系统的现状做出了总结和展望。
【图文】：

逦ｇｐｕ集群逡逑图１．１邋ＰＡＩ架构图逡逑如图１．１所示，可以将ＰＡＩ的架构进一步细分为５层：逡逑（１）基础设施层逡逑最底层是基础设施层，ＰＡＩ利用阿里云的基础设施，包括ＣＰＵ集群和ＧＰＵ逡逑集群，强大的计算能力让平台具备处理超大规模数据的能力。逡逑３逡逑

２．１．１逦ＭＶＶＭ逡逑ＭＷＭ邋（Ｍｏｄｅｌ－Ｖｉｅｗ－Ｖｉｅｗｍｏｄｅｌ）是一个由经典ＭＶＣ模式演变而来的逡逑软件架构设计模式。如图２．１所示，ＭＶＶＭ的三个组成部分分别是ＭｏｄｅｋＶｉｅｗ、逡逑Ｖｉｅｗｍｏｄｅｌ。Ｍｏｄｅｌ层代表数据模型，不具有任何行为逻辑，它只是纯粹的数据逡逑而不会影响如何展示数据。Ｖｉｅｗ层代表视图，即展示给用户并提供交互的用户逡逑界面。Ｖｉｅｗｍｏｄｅ丨层是ｍｗｍ模式的核心，它是一个同步Ｖｉｅｗ和Ｍｏｄｅｌ的对逡逑象，，可以理解为视图所需的数据模型，与视图一一对应，通过双向数据绑定高效逡逑的完成Ｖｉｅｗ和Ｍｏｄｅｌ层的同步［刘立，２０１２］。逡逑＾邋ＤａｔａＢｉｎｄｉｎｇ邋、逦逦？逡逑Ｖｉｅｗ逦．．．．．：邋邋：．．．．．．．．．．ＶｉｅｗＭｏｄｅ！逦Ｍｏｄｅｌ逡逑，逦逡逑图２．１邋ｍｖｖｍ架构逡逑７逡逑
【学位授予单位】：南京大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP311.52;TP181

【相似文献】

相关期刊论文 前10条

1 李炜;;机器学习概述[J];科技视界;2017年12期

2 朱辉;;机器学习在企业级场景中的实践与探讨[J];中国建设信息化;2018年03期

3 彭传意;;机器学习——我们该如何与机器竞争[J];数字通信世界;2018年01期

4 陈轶翔;埃里克·布伦乔尔森;汤姆·米切尔;;机器学习的能力范围及其对劳动力的影响[J];世界科学;2018年04期

5 赵长林;;机器学习即服务[J];网络安全和信息化;2017年10期

6 ;机器学习作用于信息安全的五大顶级案例[J];网络安全和信息化;2018年01期

7 吴承杨;;2018年来说说机器学习[J];软件和集成电路;2018年05期

8 徐林;;基于机器学习思想的非线性方程组求解[J];黑龙江工程学院学报;2016年06期

9 ;《软件学报》复杂环境下的机器学习研究专刊征文通知[J];软件学报;2017年01期

10 ;机器学习如何助力安全[J];计算机与网络;2017年06期

相关会议论文 前10条

1 王珏;;归纳机器学习[A];2001年中国智能自动化会议论文集（上册）[C];2001年

2 张长水;;大数据机器学习[A];2015年中国自动化大会摘要集[C];2015年

3 何琳;侯汉清;;基于标引经验和机器学习相结合的多层自动分类[A];2005年中国索引学会年会暨学术研讨会论文集[C];2005年

4 李刚;郭崇慧;林鸿飞;杨志豪;唐焕文;;基于词典法和机器学习法相结合的蛋白质名识别[A];大连理工大学生物医学工程学术论文集（第2卷）[C];2005年

5 徐礼胜;李乃民;王宽全;张冬雨;耿斌;姜晓睿;陈超海;罗贵存;;机器学习在中医计算机诊断识别系统中的应用思考[A];第一届全国中西医结合诊断学术会议论文选集[C];2006年

6 吴沧浦;;智能系统与机器学习的新领域[A];西部大开发 科教先行与可持续发展——中国科协2000年学术年会文集[C];2000年

7 蔡健平;林世平;;基于机器学习的词语和句子极性分析[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年

8 陈翠云;刘志宇;宫月;;基于机器学习的网络入侵检测模型及方法研究[A];第六届全国网络安全等级保护技术大会论文集[C];2017年

9 朱焕;胡祥杰;;2016机器学习三大趋势:算法经济将引导人工智能走向何方?[A];《科学与现代化》2017年第1期（总第070期）[C];2017年

10 刘铸樘;;互联网+背景下机器学习法在体育中的应用[A];2016年第十二届全国体育信息科技学术大会论文摘要汇编（数字体育研究）[C];2016年

相关重要报纸文章 前10条

1 360 IoT研究院院长 李康;从机器学习到机器创造[N];中国信息化周报;2017年

2 谢静;机器学习帮助用户释放数据价值[N];人民邮电;2018年

3 Mary Branscombe 编译 范范;关于机器学习的9大误区[N];计算机世界;2018年

4 张盖伦;机器学习界所抵制的，是旧的知识分享方式[N];科技日报;2018年

5 外语教学与研究出版社基础教育分社综合产品部编辑部副主任 张世钦;机器学习赋能编辑出版[N];中国出版传媒商报;2018年

6 本报记者 杨博;苹果呼吁放宽自动驾驶测试限制[N];中国证券报;2016年

7 ;大数据未来十大发展趋势[N];中国信息化周报;2016年

8 卫人;中国人工智能历史元年，一切才刚刚开始[N];中国经济导报;2016年

9 ;机器学习是否等同于人工智能[N];中国信息化周报;2016年

10 本报记者 何晓亮;工具开放：开启人工智能“全民时代”[N];科技日报;2016年

相关博士学位论文 前10条

1 张庆庆;基于机器学习的文本情感分类研究[D];西北工业大学;2016年

2 鲁路;基于机器学习优化分子对接筛选肾衰营养胶囊有效成分[D];南方医科大学;2017年

3 王泉德;机器学习及其在多Agent对策学习中的应用研究[D];武汉大学;2005年

4 翁时锋;基于机器学习的几种医学数据处理方法研究[D];清华大学;2005年

5 范玉刚;基于Kernel的机器学习在建模与分类问题的应用研究[D];浙江大学;2006年

6 蒋刚;核机器学习方法若干问题研究[D];西南交通大学;2006年

7 李智;机器学习方法及其在基金项目评审中的应用研究[D];天津大学;2004年

8 张义荣;基于机器学习的入侵检测技术研究[D];国防科学技术大学;2005年

9 刘章林;基于机器学习的编译优化适应性研究[D];中国科学院研究生院（计算技术研究所）;2006年

10 何清;机器学习与文本挖掘若干算法研究[D];中国科学院研究生院（计算技术研究所）;2002年

相关硕士学位论文 前10条

1 王爽;基于机器学习的花卉识别算法的研究与实现[D];电子科技大学;2018年

2 任高山;基于微信公众平台的文本情感分析研究[D];南昌航空大学;2018年

3 刘玲;蛋白质—核酸界面丙氨酸突变效应数据库与热点残基研究[D];安徽大学;2018年

4 张英凯;基于机器学习的重症监护病患死亡率预测[D];电子科技大学;2018年

5 刘鑫;机器学习研究及其在生存分析中的应用[D];电子科技大学;2018年

6 唐林;天数机器学习一体机系统的设计与实现[D];南京大学;2018年

7 张磊;基于机器学习的情感分析方法研究[D];电子科技大学;2018年

8 张为金;基于机器学习的电力异常数据检测[D];电子科技大学;2018年

9 颜欢;基于机器学习的AGV货物分拣系统研究与设计[D];武汉纺织大学;2018年

10 Lavocier K.Smith,Jr.;[D];湖南大学;2017年

本文编号：2669055