基于深度学习的图像分类方法及加速训练技术

发布时间：2021-02-21 21:09

　　随着互联网的飞速发展和智能手机等终端的普及,互联网上的图像数据呈现出指数级的增长趋势,这些图像涵盖了人类生活的各个方面,包含了大量的有用信息。图像分类是利用这些信息的重要手段,有利于解决现实场景中的很多问题,在图像检索、场景识别、人机交互等方面都有着广阔的应用前景。卷积神经网络凭借其优异的特征提取能力,被广泛应用于图像分类领域。由于现实任务场景越来越复杂,为了满足需求,网络模型的规模也在不断增大,导致训练一个深层网络非常耗时。因此如何设计高效的卷积神经网络以及如何加速神经网络的训练成为深度学习领域的重要研究课题。本文以图像分类为背景,选取典型的卷积神经网络DenseNet作为研究对象,对利用DenseNet进行图像分类的方法和分布式并行训练算法进行了研究。DenseNet通过特征复用的方式减少了模型的参数量,并且能取得很高的准确率,但是模型的可扩展性不高,而且频繁的特征图拼接操作也使模型在训练过程中占用了过多的显存。同步数据并行是最常使用的并行训练方法,在每个迭代过程中计算节点与参数服务器之间需要进行通信,以交换梯度值,当网络模型的参数规模较大或网络带宽受限时,通信时间容易成为瓶颈,极... 

【文章来源】：西安电子科技大学陕西省 211工程院校 教育部直属院校

【文章页数】：83 页

【学位级别】：硕士

【部分图文】：

Sigmoid函数几何图像

西安电子科技大学硕士学位论文活函数的首选，但由于其存在饱和区域，在输入利用误差反向传播算法进行训练时容易发生梯度数本身固有的缺陷，近年来使用的人越来越少。数双曲正切函数，其函数图像与 Sigmoid 函数很相

图 2. 4 Tanh 函数几何图像学表达式为:数不同，Tanh 函数将输入映射到区间[-1,1]内用中的效果要好于 Sigmoid 函数。但是其仍存失的问题。数非线性激活函数存在饱和区间的问题，HUnit）函数。ReLU 函数是一种局部线性的分段

【参考文献】：
期刊论文
[1]深度神经网络并行化研究综述[J]. 朱虎明,李佩,焦李成,杨淑媛,侯彪.  计算机学报. 2018(08)
[2]大数据的分布式机器学习的策略与原则[J]. Eric P.Xing,Qirong Ho,Pengtao Xie,Wei Dai.  Engineering. 2016(02)

博士论文
[1]基于深度学习的图像分类[D]. 孙炜晨.北京邮电大学 2017

硕士论文
[1]基于深度学习的图像分类研究[D]. 雷晓静.西安电子科技大学 2017
[2]多GPU环境下的卷积神经网络并行算法[D]. 王裕民.中国科学技术大学 2016
[3]分布式深度学习中参数交换优化机制研究[D]. 王思远.华中科技大学 2015



本文编号：3044920