一站式机器学习平台的研究与实现
发布时间：2021-12-18 20:22
机器学习技术特别是深度学习技术的发展与日益完善,使得机器学习在企业中尤其是互联网企业中的应用频率越来越高,使用范围也越来越广泛。尽管目前各种机器学习算法的理论基础日益完善,应用机器学习必备的硬件设备（CPU、GPU、存储训练数据的磁盘等）成本也越来越低,但是在机器学习技术的应用过程中还存在许多其他问题。机器学习属于比较专业的领域,而在互联网公司中需求是快速迭代的,对于一个需要使用到机器学习的小需求,算法建模和参数调优过程也需要算法工程师的参与,模型开发的人力成本比较大。而且在模型开发完成后,如何落地使用对于只是精通于算法设计,模型调优的算法工程师来说是个很大的挑战。据知名AI服务提供商Algorithmia发布的《2020年企业机器学习行情》报告显示,许多企业在部署机器学习以及后续的服务维护过程中面临着许多问题。针对上述在实际应用机器学习过程中遇到的问题,本文做了相关的研究并设计实现了一个一站式机器学习平台系统。该系统提供一站式的机器学习解决方案,功能可以覆盖机器学习业务的整个流程。该系统的核心功能包括:1.通过参数配置的形式快速构建模型训练作业。2.提供可视化建模工具,大大降低了模型...
【文章来源】：山东大学山东省 211工程院校 985工程院校 教育部直属院校
【文章页数】：90 页
【学位级别】：硕士
【部分图文】：
图２－１系统功能模块图??如上图所示，一站式机器学习平台提供模型训练、可视化建模、模型管理??型服务等功能
§■？??＾?＾?—?一?????／?？纽含》??／?，——＜：一－－－Ｃ＞异常报９??／?Ｃ?监控报鳘?｝????／?????＼??／?獅雜??＾——＾??［Ｉ?Ｉ?（＾１丨练强制停??平台用户＼＼＼?ｒ＾＞＞????＼??义二他》－－－＜＾训练启动３??＼?ｃ＾＾＞＇＜Ｍ＞＞?????＼?日志?１＾）???＾?可??、———一????—－＊＊，＾＇＂＇？（Ｓ＾？－－?＿ｙ＾－一???■＞．??型参数可视??图２－２模型训练的用例图??训练作业注册用例描述如表２－１所示。????表２－１参数配罝用例表????用例编ｆ?ＵＣＱ１?丨用例名称?丨参数配置??参与者?平台用户，包括当前项目组下的所有用户以及授权用户???用例描述?配置训练参数，修改训练参数等???Ｉｍ＾Ｔ?＾用户登录到平台并且拥有当前模型的权限?＾??某太塞件浓?１．新增训练，填写相关训练参数，平台提供默认参考参数。??２．修改已有的训练参数重新训练。???异常流程?参数填写不规范、集群资源不足等??事件流?若参数填写不规范，平台会自动校验修改?＾??非功能性需￥￣￣易用性、健壮性??１现约束和说明?无?￣￣??后置条件?５Ｅ???题?丨无??１１??
?山东大学硕士学位论文???可以查看实验的运行记录，保存实验效果比较好的模型。??模型构建用例图如图２－３所示。??可视化建模??件注?－臟校＾＾??／??／??／??／??包／?且件删．？扩展》限校??／?Ｚ??／??／?？＾＃？????＾￣’斧??Ｉ组件管理＾）??？ｒ?展》可运行性＾??？包含》??????ｚ，?Ｃ?下载实验?）《扩展》＜?权限校验?）??ｃ实验管理）?????????包含??实验检索?????干ａ用户?＜丨包含》??＜＜?包含》??—??行历史査??图２－３可视化构建模块的用例图??组件管理用例描述如表２－５所示。????表２－５组件管理甲例表????用例编号?ＵＣ０５?｜用例名称?｜参数配置??参与者?平台用户，系统管理员???用例描述?训练参数，修改训练参数等??前置条件?用户登录到平台??１．检索组件，查看组件详细介绍和推荐参数。??基本事件流?２．上传自定义组件，用户根据平台提供的模板自定义组件上传。???｜?３．注册组件，平台会定期更新组件库。???１４??
【参考文献】：
期刊论文
[1]机器学习技术的应用经验及建议探讨[J]. 吴建华. 科技创新与应用. 2020(07)
[2]加速AI分布式训练研究和实践[J]. 朱祥磊. 电信技术. 2019(12)
[3]一个轻量级分布式机器学习系统的设计与实现[J]. 宋匡时,李翀,张士波. 计算机工程. 2020(01)
[4]分布式机器学习平台与算法综述[J]. 舒娜,刘波,林伟伟,李鹏飞. 计算机科学. 2019(03)
[5]深度学习原理及应用综述[J]. 付文博,孙涛,梁藉,闫宝伟,范福新. 计算机科学. 2018(S1)
[6]主流深度学习框架对比[J]. 加日拉·买买提热衣木,常富蓉,刘晨,要秀宏. 电子技术与软件工程. 2018(07)
[7]基于TensorFlow深度学习框架的卷积神经网络研究[J]. 袁文翠,孔雪. 微型电脑应用. 2018(02)
[8]基于Spark的机器学习Web服务引擎设计[J]. 夏冉. 指挥控制与仿真. 2018(01)
[9]大数据下的典型机器学习平台综述[J]. 焦嘉烽,李云. 计算机应用. 2017(11)
[10]基于Spark的流程化机器学习分析方法[J]. 赵玲玲,刘杰,王伟. 计算机系统应用. 2016(12)
博士论文
[1]深度学习模型的高效训练算法研究[D]. 陈凯.中国科学技术大学 2016
硕士论文
[1]基于Spark和PU-learning的分布式机器学习平台的研究与实现[D]. 江裕锋.北京邮电大学 2019
本文编号：3543113
【文章来源】：山东大学山东省 211工程院校 985工程院校 教育部直属院校
【文章页数】：90 页
【学位级别】：硕士
【部分图文】：
图２－１系统功能模块图??如上图所示，一站式机器学习平台提供模型训练、可视化建模、模型管理??型服务等功能
§■？??＾?＾?—?一?????／?？纽含》??／?，——＜：一－－－Ｃ＞异常报９??／?Ｃ?监控报鳘?｝????／?????＼??／?獅雜??＾——＾??［Ｉ?Ｉ?（＾１丨练强制停??平台用户＼＼＼?ｒ＾＞＞????＼??义二他》－－－＜＾训练启动３??＼?ｃ＾＾＞＇＜Ｍ＞＞?????＼?日志?１＾）???＾?可??、———一????—－＊＊，＾＇＂＇？（Ｓ＾？－－?＿ｙ＾－一???■＞．??型参数可视??图２－２模型训练的用例图??训练作业注册用例描述如表２－１所示。????表２－１参数配罝用例表????用例编ｆ?ＵＣＱ１?丨用例名称?丨参数配置??参与者?平台用户，包括当前项目组下的所有用户以及授权用户???用例描述?配置训练参数，修改训练参数等???Ｉｍ＾Ｔ?＾用户登录到平台并且拥有当前模型的权限?＾??某太塞件浓?１．新增训练，填写相关训练参数，平台提供默认参考参数。??２．修改已有的训练参数重新训练。???异常流程?参数填写不规范、集群资源不足等??事件流?若参数填写不规范，平台会自动校验修改?＾??非功能性需￥￣￣易用性、健壮性??１现约束和说明?无?￣￣??后置条件?５Ｅ???题?丨无??１１??
?山东大学硕士学位论文???可以查看实验的运行记录，保存实验效果比较好的模型。??模型构建用例图如图２－３所示。??可视化建模??件注?－臟校＾＾??／??／??／??／??包／?且件删．？扩展》限校??／?Ｚ??／??／?？＾＃？????＾￣’斧??Ｉ组件管理＾）??？ｒ?展》可运行性＾??？包含》??????ｚ，?Ｃ?下载实验?）《扩展》＜?权限校验?）??ｃ实验管理）?????????包含??实验检索?????干ａ用户?＜丨包含》??＜＜?包含》??—??行历史査??图２－３可视化构建模块的用例图??组件管理用例描述如表２－５所示。????表２－５组件管理甲例表????用例编号?ＵＣ０５?｜用例名称?｜参数配置??参与者?平台用户，系统管理员???用例描述?训练参数，修改训练参数等??前置条件?用户登录到平台??１．检索组件，查看组件详细介绍和推荐参数。??基本事件流?２．上传自定义组件，用户根据平台提供的模板自定义组件上传。???｜?３．注册组件，平台会定期更新组件库。???１４??
【参考文献】：
期刊论文
[1]机器学习技术的应用经验及建议探讨[J]. 吴建华. 科技创新与应用. 2020(07)
[2]加速AI分布式训练研究和实践[J]. 朱祥磊. 电信技术. 2019(12)
[3]一个轻量级分布式机器学习系统的设计与实现[J]. 宋匡时,李翀,张士波. 计算机工程. 2020(01)
[4]分布式机器学习平台与算法综述[J]. 舒娜,刘波,林伟伟,李鹏飞. 计算机科学. 2019(03)
[5]深度学习原理及应用综述[J]. 付文博,孙涛,梁藉,闫宝伟,范福新. 计算机科学. 2018(S1)
[6]主流深度学习框架对比[J]. 加日拉·买买提热衣木,常富蓉,刘晨,要秀宏. 电子技术与软件工程. 2018(07)
[7]基于TensorFlow深度学习框架的卷积神经网络研究[J]. 袁文翠,孔雪. 微型电脑应用. 2018(02)
[8]基于Spark的机器学习Web服务引擎设计[J]. 夏冉. 指挥控制与仿真. 2018(01)
[9]大数据下的典型机器学习平台综述[J]. 焦嘉烽,李云. 计算机应用. 2017(11)
[10]基于Spark的流程化机器学习分析方法[J]. 赵玲玲,刘杰,王伟. 计算机系统应用. 2016(12)
博士论文
[1]深度学习模型的高效训练算法研究[D]. 陈凯.中国科学技术大学 2016
硕士论文
[1]基于Spark和PU-learning的分布式机器学习平台的研究与实现[D]. 江裕锋.北京邮电大学 2019
本文编号：3543113
本文链接：https://www.wllwen.com/shoufeilunwen/xixikjs/3543113.html
