面向边缘智能的模型训练服务部署和任务卸载研究

发布时间：2020-11-13 20:38

　　 步入5G时代,云计算模式难以应对网络边缘产生的大量数据以及越来越多的延迟敏感应用,边缘计算被提出来应对这些挑战。为了充分利用网络边缘产生的大量数据,机器学习等方法通常被采用,其中深度学习在以图形处理为代表的诸多应用场景取得了良好的效果。在“边缘智能”这一概念的推动下,将边缘计算技术和深度学习等技术结合同时基于边缘数据的地理分布式特点进行边缘分布式模型训练成为了一个热门的技术趋势。在网络边缘进行分布式模型训练首先需要在边缘节点上部署相应的模型训练服务。已有的服务部署研究往往针对轻量的普通服务,主要从服务请求延迟和系统能耗等角度研究服务部署。模型训练服务的任务请求由于其资源的密集性和运行的长期性与普通的边缘服务有较大的差别,需要从新的应用场景研究服务部署问题。本文从时间段的角度考虑模型训练服务的部署,并基于服务部署代价和服务部署收益这两个量化方式,以最大化系统综合收益的目标,研究最优的服务部署决策。服务部署问题首先被形式化为了一个非线性的0-1整数规划问题,然后本文通过优化目标转化、松弛、约束条件延迟判断以及随机舍入等技术,提出了 RDSP模型训练服务部署算法,并通过理论分析证实了 RDSP算法的性能保障。基于多个性能指标的仿真结果显示,相对于基准算法,RDSP算法在维持绝对的负载均衡性能优势的同时可以提升26%的系统综合收益。为了保障系统性能,边缘系统还需要恰当地卸载分布式模型训练任务。一个典型的边缘分布式模型训练任务往往涉及到多个数据节点,卸载任务时需要解决节点的指派问题。在大部分现有的边缘任务卸载相关研究中,一个任务仅涉及一个请求节点,同时在大部分边缘模型训练相关工作中,往往假设数据是在边缘节点准备好的,而忽略了数据节点指派问题。此外,由于边缘节点资源的有限性,需要研究如何在多个边缘节点为多个分布式模型训练任务分配资源从而保证服务质量,这是大部分现有工作没有考虑的。本文联合地考虑模型训练任务的卸载问题和资源分配问题,并从最大化系统训练任务吞吐率的角度出发,将这个联合问题形式化为一个被证明为NP难解的非线性混合整数规划问题。基于约束条件转化和随机舍入等技术,本文设计了 RDJOA算法用于模型训练任务卸载和资源分配,理论分析表明RDJOA算法有着接近理论最优解的性能。仿真结果指出,相对于基准算法,RDJOA算法能提升56%的系统训练任务吞吐量以及53%的平均边缘节点资源利用率。
【学位单位】：中国科学技术大学
【学位级别】：硕士
【学位年份】：2020
【中图分类】：TN929.5;TP18
【部分图文】：

?第２章边缘分布式模型训练相关概念和技术???云端??［ｒｎ?—?—?＇ＩＺａ＾＝＾ＣＺｎ?ｒｎｌ??ｉｎ＾￣￣［１?边缘廳??Ｉ?ＬＥＩ?￣ＬＥＪ｜??ｉ?〕：：：：?ｂＣ?＞??ａ?ｏ?目?？??雜设备层??ｆｎＴ＝１?Ｈｉ?Ｑ?ｃｆｅ?＾??图２．１包含边缘设备层、边缘服务层和云端的边缘计算分层架构示例??理单位对汇报的数据进行进一步的处理。??在上面的实际例子中，企业尝试边缘计算模式时，还需要自己釆购服务器，??部署和管理服务器，对于业务的开展和扩展都十分不方便。联想到云计算出现的??契机是硬件成本降低，而诸多企业疲于自己管理一个机房，于是一些企业变瞄准??这样的机会在全球范围内建立大型数据中心，对外提供设备、平台或者服务。随??着边缘计算的发展，不久的将来或许也会出现类似于云计算的业务模式，使得边??缘应用和服务能够快速地开发和部署。同时，上面的例子也体现出边缘智能的趋??势，越来越多的边缘应用依赖机器学习等技术的服务，在网络的边缘直接部署资??源进行模型训练、将训练好的模型直接部署在网络边缘将成为流行的技术方向。??２．１．３边缘智能简介??近年算法、算力以及数据集等的进步，使得人工智能取得了突飞猛进的发??展。考虑到当前移动终端和物联网设备的高度普及，边缘智能这一概念应运而??生。基于边缘计算这一新型的计算模式，人工智能服务被迁移到更加靠近用户和??数据源头，模型的训练、模型的部署和知识推理都在网络的边缘完成，有效地降??低服务延迟。同时，通过云边协同、边边协同、端边协同等方式，有效提高了服??务质量，改善了人工智能应用的性能，同时降低了成本以及提高了数据隐私的安??全

并行化取得了诸多的关注，且被广泛釆用。??在一个典型的基于分布式随机梯度下降的模型训练系统中，有多个工作节点负??责模型的训练，这些节点的训练结果通过某种方式结合到一起，形成最终训练好??的模型。??２．２．１数据并行与模型并行??通常，模型的并行化训练有两种方式。第一种是数据并行化，在每一个参与??模型训练的工作节点上，都有完整的模型，训练数据被分割（通常是平均分割）??然后发送到各个工作节点进行训练，各个节点独立地训练，训练完成之后将所有??的节点的模型进行汇总得到全局模型，图２．３ａ描述了这种训练方式。第二种是模??型并行化，参与模型训练的每个工作节都使用完整的训练数据作为输入，但是每??个节点都只负责一部分模型的训练，节点之间可能会通过网络进行模型参数的??传递，从而使得整个模型的参数得到更新，因此图２．３ｂ描述了这种方式。模型训??练的并行化涉及到多个节点的协同工作，因此节点之间的互联的网络质量至关??重要，特别是对于模型的并行化，由于每个节点只负责一部分模型，因此整个模??型的一轮更新过程中涉及到大量的网络参数传递，节点之间是否拥有高速互联??的网络是模型的训练速度的一种重要影响因素。??；汇总节点?ｙ工作节点１?ｆ?工作节点＼??工作节点０?Ｑ??／＼Ｙ１Ｙ／Ｖ７＼??／ｖ／ｍｘ７＼?／ｗｉｘｎ?ｎｍｘｉ＼?／?八?＇??ｘｘｘｘｘ?ｘｘｘｘｘ?ｘｘｘｘｘ?ｘｘｘｘｘ?＼／＼／＼／＼／＼／??ｘｐｄｘｊｘｉ／?ｕｋｉｘｄｖ?ｍｘｄｗｊ?Ｖ?ｙ?Ｖ?Ｖ?Ｖ??０Ｍ｜＾０??Ｖ；Ｔ作节点３＾工作节点４??（ａ）数据并行模式?（ｂ）模型并行模式??图２．３分布式模型训练主要的两种不同并行模式

于??相应数据节点的数据进行模型的本地更新，同时与参数服务器进行交互。由于边??缘环境资源有限，而在数据并行分布式训练过程中，参数服务器采用异步更新的??方式能达到更好的资源利用率，因此本文在边缘分布式模型训练过程中采用异??步更新方式。?????—醫．一处理下—??－肩?２?ｍｉｎｉ－ｂａｔｃｈ＾??Ｉ?／ｐ??—更新金局翻一?／?－ｍ??传输参数更新＿??＾＾■＼处理当前藝??ｍｉｎｉ－ｂａｔｃｈ??初始化??参数服务器?工作节点１?工作节点２??图２．４采用数据并行的边缘分布式模型训练过程中，参数服务器和各个工作节点异步更新??流程示例??基于这种异步更新的数据并行分布式训练模式，系统在基于某种策略部署??好模型训练服务之后，在一个任务调度周期内，对于给定的模型训练任务，系统??１４??
【相似文献】

相关期刊论文 前10条

1 陈重洋;;以模型训练方法提高学生解题能力[J];教师;2017年03期

2 杨定姣,张礼宾,王中军,陶丽云;改良静脉穿刺模型训练的效果观察[J];南华大学学报(医学版);2002年03期

3 杨保安，梁东伟;少年100m跑的模型训练与评定[J];体育科技;1996年02期

4 张莉;;首饰创意构思之模型训练的教学实践[J];艺术教育;2014年08期

5 徐海勇;尚晶;武智晖;李莉;;基于数据位置的边缘作业调度技术[J];电信科学;2019年S2期

6 乐光学;戴亚盛;杨晓慧;刘建华;游真旭;朱友康;;边缘计算可信协同服务策略建模[J];计算机研究与发展;2020年05期

7 史王雷;冯爽;;基于注意力机制的联合监督端到端说话人识别模型[J];信息与电脑(理论版);2020年04期

8 徐东;黄海艇;刘典勇;苏道静;;基于边缘计算的化工设备噪音污染监控应用[J];粘接;2019年11期

9 姚元;刘学龙;朱军;刘欣欣;;基于边缘计算的大规模无人协同探测感知架构研究[J];现代雷达;2020年06期

10 于际河;;基于MATLAB的电机故障诊断模型训练与测试平台[J];计算机光盘软件与应用;2014年05期

相关博士学位论文 前10条

1 曹坤;边缘计算服务品质优化技术研究[D];华东师范大学;2020年

2 姜婧妍;面向边缘智能的资源分配和任务调度的研究[D];吉林大学;2020年

3 赵炜;边缘化身份视角下的国际冲突研究[D];吉林大学;2015年

4 郭硕知;边缘与归属：道教认同的文化史考察[D];中央民族大学;2016年

5 郑瑞侠;中国古代早期文学边缘角色研究[D];东北师范大学;2004年

6 代玥玥;移动边缘计算中资源管理问题的研究[D];电子科技大学;2019年

7 张亚强;边缘计算下物联网事件边界检测与复杂任务调度优化[D];中国地质大学(北京);2020年

8 俞睿;鲍德温作品中的边缘身份研究[D];南京大学;2011年

9 周钰致;边缘计算环境中低时延高可信显示芯片的研究与设计[D];中国科学技术大学;2020年

10 魏娜;中国传统服装襟边缘饰研究[D];苏州大学;2014年

相关硕士学位论文 前10条

1 王海川;面向边缘智能的模型训练服务部署和任务卸载研究[D];中国科学技术大学;2020年

2 梁师哲;基于深度学习的智能聊天机器人的关键技术研究[D];广西大学;2019年

3 周娟;基于Spark的大规模机器翻译模型训练方法与系统研究[D];南京大学;2016年

4 尹至达;面向云和边缘网络的任务自治调度策略研究[D];上海交通大学;2019年

5 陶刚;工业物联网环境下基于预测和边缘协作的服务重配置策略研究[D];中国地质大学(北京);2020年

6 丁雪乾;面向5G边缘计算的任务卸载与资源优化研究[D];兰州理工大学;2020年

7 沈佳梅;移动边缘计算环境下感知型任务的调度技术研究[D];上海交通大学;2019年

8 龙艳;基于边缘计算的车联网高效内容交付及任务卸载[D];电子科技大学;2020年

9 吴鸿飞;基于边缘计算的微服务调度算法研究[D];电子科技大学;2020年

10 李锦;移动边缘计算环境下的服务迁移与维护方法研究[D];安徽大学;2020年

本文编号：2882620