面向边缘计算的卷积神经网络压缩方法研究

发布时间：2021-10-06 21:21

　　随着物联网（Internet of Things,IoT）逐步地对传统行业进行智能化升级,深度学习技术不断被应用到可穿戴设备、智能家居、无人数字工厂、无人物流运输和智慧医疗等方面。然而,如今性能强大的大型卷积神经网络（Convolution Neural Network,CNN）模型仍然难以在FPGA（Field Programmable Gate Array）和嵌入式等硬件资源非常有限的边缘设备上部署使用。所以,亟需对CNN模型进行有效地压缩,从而使网络模型满足边缘设备部署应用的要求。目前,在CNN模型压缩算法方面已有许多的工作,学者们使用不同的方式来降低网络的冗余。然而,现有的这类方法在解决边缘计算的需求时仍然面临许多挑战。在当前的CNN模型压缩方法中,都存在着局限于小型的数据集和网络模型、仅考虑某一方面的要求和只针对GPU处理器实现加速推理等问题,难以满足实际任务的大型CNN模型在边缘部署应用的要求。因此,针对现有上述边缘设备的限制和CNN模型压缩的问题,提出面向边缘设备的压缩方法。为了满足既CNN模型在实际任务中精确率的要求,也要满足模型的部署需求,因此针对CNN模型存在的中多... 

【文章来源】：广东工业大学广东省

【文章页数】：63 页

【学位级别】：硕士

【部分图文】：

典型低秩分解方法

图 2-1 神经元的生物及及数学模型Figure 2-1 Biological and mathematical models of neuron如图 2-2 所示，当 x 0时，则 f ( x ) 0；而 x 0时，则 f ( x )x。因此，ReLU的输出值范围是[0, + ]，与 sigmoid 函数和 tanh 函数有极大区别。并且由于不需要复杂的浮点预算操作，因此计算速度极快。同时，由于 ReLU 为正数时是线性的，并没饱区间。因此它避免了模型训练时候梯度消失问题。图 2-2 ReLU 激活函数

f ( x ) max (0, x )图 2-1 神经元的生物及及数学模型re 2-1 Biological and mathematical models of neuro当 x 0时，则 f ( x ) 0；而 x 0时，则 f ( x ) + ]，与 sigmoid 函数和 tanh 函数有极大区别。作，因此计算速度极快。同时，由于 ReLU 为正它避免了模型训练时候梯度消失问题。

【参考文献】：
期刊论文
[1]《中国人工智能发展报告2018》正式发布[J]. 张涵.  中国国情国力. 2018(08)



本文编号：3420766