边缘计算设备中神经网络适配及其手写体识别

发布时间：2021-12-28 07:40

　　随着复杂的AI和机器学习应用程序在边缘计算设备上应用需求的增加,支持微型机器学习的技术方法正在不断涌现。原先的研究人员持有这样的观点:对于小样本一般不建议使用深度学习算法,但是现在有关研究人员开始认为小样本学习也具有潜在的适用场景,例如优化后的机器学习（Machine Learning,ML）能够部署在边缘计算场合,从而有效地实现边缘智能。在边缘计算场景下,尽管设备可以把采集的数据送到数据中心进行训练和获取深度学习的模型,但是这依然受到很多约束,如推理时设备的内存、设备的计算能力和通信时延。通过合理选择规模量化方案以及定点与低精度整数运算,压缩后的神经网络模型的性能将在边缘应用中接近浮点运算设计的性能。在探讨神经网络规模压缩基础知识和微型机器学习等方法之后,本文将重点讨论在边缘计算设备的神经网络适配,即一种微型机器学习和神经网络的规模压缩。基于上述思想,本文第一个工作提出了一种适合边缘设备的分布式训练架构和一种包含8比特量化的前馈神经网络优化设计。它可能便于在多个设备上进行微型的、快速的分布式训练和推理以及降低总的网络延迟。其次,本文第二个工作构建一个浅层卷积神经网络。通过使用Pyto... 

【文章来源】：南京邮电大学江苏省

【文章页数】：64 页

【学位级别】：硕士

【部分图文】：

全连接神经网络

ReLu非线性展示

南京邮电大学专业学位硕士研究生学位论文第二章神经网络模型压缩基础知识16图2.3两个完全连接的层的修剪连接图2.3中，左侧的图显示了修剪前的连接网络，而右侧的图显示了修剪后的连接网络。修剪权重的一种方法是删除相对不相关的连接。为此，我们将设置一个阈值并删除该阈值以下的绝对值。为了确定该阈值，我们将利用权重矩阵的均值和方差。通过为不同的权重矩阵找到不同的阈值，我们将尝试最大程度地提高此方法的效率。（2）修剪节点这种修剪方法通过从图层中删除节点以及与之相连的所有权重来减少浮点操作的数量，如图2.4所示。让我们假设两个完全连接的，即k和k+1。计算这两层输出的计算复杂度为：()()111(1)()FCFCkkkkkkOoOmmm(2.41)假设我们从k层中删除了一个节点，那么复杂度将降低-1+1+kkmm。图2.4修剪完全连接到两层的一层的节点图2.4左侧的图显示了修剪之前的节点结构，而右侧的图显示了修剪之后的节点结构。类似于全连接层，卷积层k也包含m（k）个节点。唯一的不同是，在卷积层中，这些节点在维度kH和kW中重复。因此，可以将该技术应用于卷积层。为了确定要修剪的节点，我们将其看成两个简单的修剪标准，激活计数和激活方差。之后将说明应用修剪的训练周期。假设ReLU层激活，我们可以计算每个节点的激活次数，并确定不使用哪些节点。我们可以使用激活计数的平均值和方差来设置范围，并修剪超出此范围的节点。这样，我们可以确定不经常使用的节点或过于频繁使用的节点。首先，我们使用随机权重初始化模型。模型收敛后，我们将根据所选的修剪标准收集统计信息。使用这些统计数据，我们可以修剪模型。如果我们已经成功修剪了所有节点，那么我们将返回训练步骤，并不断重复这些步骤，直到

【参考文献】：
期刊论文
[1]模型剪枝与低精度量化融合的DNN模型压缩算法[J]. 吴进,杨雪,胡怡青.  电讯技术. 2020(06)
[2]卷积神经网络算法模型的压缩与加速算法比较[J]. 李思奇.  信息与电脑(理论版). 2019(11)
[3]大脑听觉系统建模研究进展[J]. 王聪,张巧丽,赵地,迟学斌.  计算机科学. 2016(S2)

硕士论文
[1]神经网络规模自适应技术研究[D]. 刘至家.南京大学 2019
[2]基于剪枝的卷积神经网络压缩方法研究[D]. 靳丽蕾.河北大学 2019
[3]基于深度学习的移动端图像识别算法[D]. 黄萱昆.北京邮电大学 2018



本文编号：3553693