基于SDN的分布式神经网络模型设计及仿真
发布时间：2021-07-28 23:01
近年来,神经网络成为了人工智能领域的关键技术。特别是大数据时代的到来,人们对数据进行深度挖掘分析的需求更是使其迅速发展。但是数据爆炸式增长,就需要更先进的硬件设备去部署更加复杂的神经网络模型,这在一定程度上限制了神经网络的发展。于是一种基于云端、边缘和终端的分布式深度神经网络应运而生。这种分布式神经网络将位于终端的小型神经网络和位于云端中的大型神经网络结合起来,具有多个出口,既能够在边缘和终端设备上使用部分神经网络进行快速、本地化的计算,又能在云端使用复杂的深度神经网络进行推理计算。这种基于计算层次的分层结构一定程度解决了由于神经网络模型和数据集的日益巨增的规模所带来的性能瓶颈的问题。但是由于分布式的架构,其在对各个终端输入的数据进行处理时面临着数据分布不一致的问题,并且这种层次之间的相互通信还会产生很大的通信成本和延迟问题。为了解决数据分布不一致,本文基于迁移学习的思想,提出了一种领域自适应方法,通过对抗生成网络,捕捉数据之间的多模态结构,去减少数据集之间分布不一致所带来的影响。此外为了解决分层架构带来的通信问题,本文使用了软件定义网络（Software Defined Networ...
【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校
【文章页数】：85 页
【学位级别】：硕士
【部分图文】：
D3CATN分布式结构的总体思想[49]
电子科技大学硕士学位论文图3-2基于边缘节点的协作优化域适应层和全连接分类层，利用终端设备上传的实际目标域样本的特征分布，可以进一步训练终端设备的神经网络，来进行特征的迁移。这样就形成了多端设备基于边缘节点的协作优化模式。并且在这个过程中，中间结果是原本就需要上传的，并不会增加网络的流量，我们只是充分地利用了提取的特征。整个过程的算法描述如下：算法3-2协作优化算法说明Train//利用源域数据进行初步的离线训练，并分布式部署到端设备和边缘设备执行设备端zε=fexitεx//提取特征y=softmax（z）//预测标签e=En（y）//计算熵值ife<Tsthenreturny//结果的熵值小于预设值就从当前出口退出endelsesendfeaturestoedge//否则，将特征值s发送给边缘节点end边缘端y=fs//在边缘进行分类T=T+s//将样本作为目标域数据加入集合T中train（T）//利用目标域的数据分布来进行特征迁移，进化设备端网络Syn（params）//同步参数到设备端在边缘节点保留有设备端的域适应层以及分类层的参数，在新样本到达时，将样本加入集合T中，集合T即代表了目标域的样本分布，这样随着集合T中元素24
第三章自适应分布式深度神经网络研究表3-5不同模式下，在进行同一任务时的整体准确率以及所产生的流量模式准确率产生的流量本地模式65%0云端模式90%256Mb混合模式（DDNNs）78%10Mb混合模式（D3CATN+边缘节点协作优化）85%10Mb在简单的模型下，只能得到较低的准确率。而在云端我们虽然能够得到最高的准确率，但是会产生很大的通信成本。而在混合模式下，准确率和通信成本之间达到了一个均衡。特别是D3CATN算法，与传统的DDNNs相比，能达到更高的准确率。图3-4DDNNs优化效果比较图3-4表示了混合模式下，D3CATN配合边缘节点优化的DDNNs架构与其他几种传统的架构的准确率的区别。在实验中，主干神经网络都是ResNet-50，因此本地和云端模式的准确率不会有变化，而在混合模式中，采用的是总体的准确率，即让样本自己选择退出点，然后统计总体的准确率，对比了有D3CATN和边缘节点优化的DDNNs架构与传统DDNNs的区别。从图中可以看得到，将ResNet-50改造成DDNNs架构后，准确率有所上升，可能的原因是，D3CATN在DDNNs的每个退出点后又增加了一些特征提取层，增加了网络的总体的性能。虽然传统DDNNs和D3CATN在初始时刻的准确率几乎一致，但是DDNNs缺少一种进化和域适应机制，很难适应真实的环境。本文提出的优化方案在实际运行过程中收集实际样本的分布信息，并利用3.2节中提到的D3CATN算法进行域适应，在边缘节点进行再训练，可以看到准确率随着时间逐27
【参考文献】：
期刊论文
[1]软件定义广域网研究[J]. 谢兆贤,陈慧,张安琳,黄道颖,王巍振. 火力与指挥控制. 2017(12)
[2]移动边缘计算技术及其本地分流方案[J]. 张建敏,谢伟良,杨峰义,武洲云,谢亮. 电信科学. 2016(07)
[3]神经网络七十年:回顾与展望[J]. 焦李成,杨淑媛,刘芳,王士刚,冯志玺. 计算机学报. 2016(08)
[4]软件定义网络（SDN）研究进展[J]. 张朝昆,崔勇,唐翯翯,吴建平. 软件学报. 2015(01)
[5]软件定义网络研究综述[J]. 张顺淼,邹复民. 计算机应用研究. 2013(08)
[6]基于OpenFlow的SDN技术研究[J]. 左青云,陈鸣,赵广松,邢长友,张国敏,蒋培成. 软件学报. 2013(05)
[7]IntServ网络资源优化分配方法[J]. 谭献海,李明辉,金炜东. 西南交通大学学报. 2008(02)
[8]机器学习及其相关算法综述[J]. 陈凯,朱钰. 统计与信息论坛. 2007(05)
[9]基于DiffServ体系的IP网方案及QoS的技术[J]. 杜慧军. 计算机工程与应用. 2006(04)
[10]神经网络——通信及其保密通信领域的新技术[J]. 王晓鸣. 通信技术与发展. 1994(06)
硕士论文
[1]基于卷积神经网络的深度学习算法与应用研究[D]. 陈先昌.浙江工商大学 2014
本文编号：3308818
【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校
【文章页数】：85 页
【学位级别】：硕士
【部分图文】：
D3CATN分布式结构的总体思想[49]
电子科技大学硕士学位论文图3-2基于边缘节点的协作优化域适应层和全连接分类层，利用终端设备上传的实际目标域样本的特征分布，可以进一步训练终端设备的神经网络，来进行特征的迁移。这样就形成了多端设备基于边缘节点的协作优化模式。并且在这个过程中，中间结果是原本就需要上传的，并不会增加网络的流量，我们只是充分地利用了提取的特征。整个过程的算法描述如下：算法3-2协作优化算法说明Train//利用源域数据进行初步的离线训练，并分布式部署到端设备和边缘设备执行设备端zε=fexitεx//提取特征y=softmax（z）//预测标签e=En（y）//计算熵值ife<Tsthenreturny//结果的熵值小于预设值就从当前出口退出endelsesendfeaturestoedge//否则，将特征值s发送给边缘节点end边缘端y=fs//在边缘进行分类T=T+s//将样本作为目标域数据加入集合T中train（T）//利用目标域的数据分布来进行特征迁移，进化设备端网络Syn（params）//同步参数到设备端在边缘节点保留有设备端的域适应层以及分类层的参数，在新样本到达时，将样本加入集合T中，集合T即代表了目标域的样本分布，这样随着集合T中元素24
第三章自适应分布式深度神经网络研究表3-5不同模式下，在进行同一任务时的整体准确率以及所产生的流量模式准确率产生的流量本地模式65%0云端模式90%256Mb混合模式（DDNNs）78%10Mb混合模式（D3CATN+边缘节点协作优化）85%10Mb在简单的模型下，只能得到较低的准确率。而在云端我们虽然能够得到最高的准确率，但是会产生很大的通信成本。而在混合模式下，准确率和通信成本之间达到了一个均衡。特别是D3CATN算法，与传统的DDNNs相比，能达到更高的准确率。图3-4DDNNs优化效果比较图3-4表示了混合模式下，D3CATN配合边缘节点优化的DDNNs架构与其他几种传统的架构的准确率的区别。在实验中，主干神经网络都是ResNet-50，因此本地和云端模式的准确率不会有变化，而在混合模式中，采用的是总体的准确率，即让样本自己选择退出点，然后统计总体的准确率，对比了有D3CATN和边缘节点优化的DDNNs架构与传统DDNNs的区别。从图中可以看得到，将ResNet-50改造成DDNNs架构后，准确率有所上升，可能的原因是，D3CATN在DDNNs的每个退出点后又增加了一些特征提取层，增加了网络的总体的性能。虽然传统DDNNs和D3CATN在初始时刻的准确率几乎一致，但是DDNNs缺少一种进化和域适应机制，很难适应真实的环境。本文提出的优化方案在实际运行过程中收集实际样本的分布信息，并利用3.2节中提到的D3CATN算法进行域适应，在边缘节点进行再训练，可以看到准确率随着时间逐27
【参考文献】：
期刊论文
[1]软件定义广域网研究[J]. 谢兆贤,陈慧,张安琳,黄道颖,王巍振. 火力与指挥控制. 2017(12)
[2]移动边缘计算技术及其本地分流方案[J]. 张建敏,谢伟良,杨峰义,武洲云,谢亮. 电信科学. 2016(07)
[3]神经网络七十年:回顾与展望[J]. 焦李成,杨淑媛,刘芳,王士刚,冯志玺. 计算机学报. 2016(08)
[4]软件定义网络（SDN）研究进展[J]. 张朝昆,崔勇,唐翯翯,吴建平. 软件学报. 2015(01)
[5]软件定义网络研究综述[J]. 张顺淼,邹复民. 计算机应用研究. 2013(08)
[6]基于OpenFlow的SDN技术研究[J]. 左青云,陈鸣,赵广松,邢长友,张国敏,蒋培成. 软件学报. 2013(05)
[7]IntServ网络资源优化分配方法[J]. 谭献海,李明辉,金炜东. 西南交通大学学报. 2008(02)
[8]机器学习及其相关算法综述[J]. 陈凯,朱钰. 统计与信息论坛. 2007(05)
[9]基于DiffServ体系的IP网方案及QoS的技术[J]. 杜慧军. 计算机工程与应用. 2006(04)
[10]神经网络——通信及其保密通信领域的新技术[J]. 王晓鸣. 通信技术与发展. 1994(06)
硕士论文
[1]基于卷积神经网络的深度学习算法与应用研究[D]. 陈先昌.浙江工商大学 2014
本文编号：3308818
本文链接：https://www.wllwen.com/guanlilunwen/ydhl/3308818.html
