面向边缘计算的分布式深度神经网络研究

发布时间：2021-06-10 17:59

　　当前,我们可以从物联网（Internet of Things,IoT）传感器中获取海量数据,然后利用这些数据来训练深度神经网络,通过深度神经网络研究实际问题,帮助IoT设备作出决策,使IoT设备更加智能,拥有更广阔的应用前景。然而,一方面IoT设备的计算和存储资源有限,很多神经网络模型不能直接用于IoT设备中;另一方面云计算的方法又会给用户带来高带宽成本和高延迟,所以,单纯的基于云计算的深度学习和基于IoT设备的深度学习不能很好地适用于IoT环境。针对上述问题,本文对“云-边-端”协同计算的分布式深度神经网络（Distributed Deep Neural Network,DDNN）进行了相关研究,以改进现有解决方案。首先,针对IoT设备数据的特点,本文提出了一种多视角特征加权融合的方法,该方法考虑了多视角重要性的差异,相比传统的特征融合方法减少了边缘侧向云侧的数据传输量,能进一步提高DDNN的精度。其次,针对DDNN的重要组成部分——卷积层和全连接层参数过多的问题,本文设计了一种出口可滑动的轻量级DDNN推理模型,一方面通过将出口位置往DDNN的低层移动,减少边缘侧卷积层的计算量,另... 

【文章来源】：华中科技大学湖北省 211工程院校 985工程院校 教育部直属院校

【文章页数】：61 页

【学位级别】：硕士

【部分图文】：

本文组织结构

14图 2-1 DDNN 体系结构anchyNet 的一种可用于“云-边-端”协同计在设备侧、边缘侧和云侧分别有一个分类口以交叉熵损失作为优化目标，如公式(( ) ( )1, ; logc cc CL y yC y y= exp( )softmax( )exp(z )cc C= = zy z( ; )nexitz =f x ，y表示样本的真实标签，y 表示样本的是样本从神经网络的输入到第 n 个出口进

图 3-2 单个视角 cBoF 结构图cBoF 层与卷积层相结合，如图 3-2 中虚线框部分，左侧表示边缘侧 CNN 特取的过程，包括卷积层、池化层、Dropout[44]层、批归一化（Batch NormalizatioN）层等。第 i 个图片送给特征提取模块后，从最后一个卷积层中得到的特征图数为FN ，高和宽分别为iH 和iW 。（2）构造视觉词典视觉词典的构造决定了图像的分类效果，是十分重要的阶段。通过第一阶段征提取，可得到 N 张图片的特征向量集合 | 1 , 1 ij iS = x i = N j =N，其i i iN = H W。构造视觉词典的过程就是将这个集合聚类到KN 个视觉单词上去。视觉单词 ( 1, ,)Dk Kv R k =N，其中 D 表示特征向量ijx 的维度。视觉词典只构造一次，为了减少训练时间，可以使用S 的子集来构造视觉词典V ，这种方特征表达的影响甚微[45]。特征向量x 和视觉单词v 的相似性度量用径向基核函数（ Radial Ba

【参考文献】：
期刊论文
[1]边缘计算:现状与展望[J]. 施巍松,张星洲,王一帆,张庆阳.  计算机研究与发展. 2019(01)

硕士论文
[1]基于字符级联分类器的自适应汽车仪表检测算法的研究[D]. 伊明.哈尔滨工业大学 2018
[2]基于深度学习和云计算的电力信息网入侵检测研究[D]. 孙杉.华北电力大学 2016



本文编号：3222859