基于云计算平台的神经网络并行计算方法及其应用研究
发布时间：2021-07-11 03:00
神经网络特别是深度学习的训练非常耗时,并且需要大量的训练数据,这使得其适合于云计算平台。云计算平台可以分布式存储训练数据,并能使用多个主机对神经网络进行并行计算从而提高训练速度。然而,当前神经网络并行训练的加速比不够高,和线性加速比存在较大差距。为了提高基于云计算平台的神经网络训练速度,本文提出了神经网络并行的加速方法,并将该方法应用到语音关键词识别和声纹验证中。本文使用Hadoop和Spark搭建云计算平台,并基于Tensorflow On Spark框架实现神经网络分布式并行训练。本文的基于云计算平台的神经网络并行计算方法主要包含两方面内容:一是在每个云节点上启动多个工作者,这可以提高云平台GPU等资源的利用率;二是基于Downpour SGD来改进异步数据并行。异步数据并行是基于云计算平台的神经网络并行训练的常用方法,然而计算节点与参数服务器之间协同参数时的通信开销严重影响了异步数据并行的加速效果,Downpour SGD可以减少计算节点与参数服务器之间的通信次数从而降低通信开销,提高并行训练速度。在语音关键词识别方面,本文提出了结合Dense Net和Bi LSTM的神经网络模...
【文章来源】：华南理工大学广东省 211工程院校 985工程院校 教育部直属院校
【文章页数】：68 页
【学位级别】：硕士
【部分图文】：
梯度下降法
部特征提取能力。根据网络层之间的连接结构，卷积网络可分为常规卷积神经网络（CNN，ConvolutionalNeuralNetwork）、残差网络（ResNet，ResidualNeuralNetwork）[20]和DenseNet[21]。2.1.2.1CNN卷积神经网络通过设定卷积核，将目标数据与卷积核执行卷积运算，从而提取目标数据的特征。卷积核也被称为滤波器。例如对一个二维灰度图片，通过设置边界滤波器可以提取图片的边界特征，如图2-2所示。设置多个滤波器可以提取图片的各个特征。CNN的核心就是使用大量数据让神经网络模型学习滤波器的参数，从而拟合目标任务。图2-2CNN通过边界滤波器提取二维图片边界CNN中的卷积存在如下3个基本概念：1)填充（padding）。图2-2中二维图片的尺寸为（6,6），卷积运算后尺寸为（4,4），图片变小了。图片特征每卷积一次尺寸变小一次，如果尺寸太小将无法执行进一步的卷积。此外该图的边缘点参与的运算少，边缘信息容易丢失。为了解决这个问题，卷积操作前可以先将图片向外拓展一圈，即图片尺寸变为（8,8），这样卷积运算后尺寸为（6,6），和原图片尺寸保持一致。2)步长（stride）。步长是指卷积操作时，滤波器移动的间隔。图2-2中的步长为1，如果步长为2，则输出的尺寸为（2,2）。3)池化（pooling）。池化可以进一步提取一定区域的主要特征，减少模型参数，防止过拟合。常见的池化包括最大池化（MaxPooling）、平均池化（AveragePooling）等。深度学习中常使用多层卷积网络，低层神经网络提取目标低层次特征，高层神经网
第二章神经网络和云计算平台的理论基础7络基于低层次特征进一步提取高层次特征。提高CNN网络深度，能加强网络对特征的提取能力。然而，当神经网络层数较深时，误差信息难以反馈到前面层的网络，梯度的相关性随着层数增加持续衰减，从而使得其训练效果反而不如稍浅层神经网络。为了解决这个问题，文献[20]提出了ResNet。2.1.2.2ResNetResNet的核心是残差块，一个残差块的结构如图2-3所示。右侧的曲线为跳接（shortcutconnection），通过跳接，残差块将前几层的输出与本层的计算输出相加，然后将结果通过激活函数后得到本层的输出。跳接能有效进行误差反馈，保持梯度相关性。对于层的神经网络，普通连接的梯度相关性的衰减为12，而ResNet的衰减只有1√，梯度相关性大大增强[22]。图2-3残差块ResNet使得神经网络可以向更深层次发展，常见的ResNet包括Res18、Res34、Res50、Res101、Res152等。ResNet在图像识别等领域比CNN取得了更高的准确率。2.1.2.3DenseNet鉴于ResNet通过跳接取得了更好的效果，文献[21]提出一种新架构DenseNet，进一步利用跳接，将一定范围内的所有层连接在一起。DenseNet主要由DenseLayer和TransitionLayer交替组成。在每个DenseLayer中，第层将前面所有层的特征映射的连接作为输入。假设每层的特征映射个数为（该值也被称为增长率），则DenseLayer中第层的输入特征映射个数为0+(1)×，其中0是该DenseLayer的输入通道数。DenseLayer中输入特征映射数随着层数的增加而增长，为了避免输入特征个数太大，DenseNet在DenseLayer之间添加TransitionLayer来减小输入特征映射个数。相比常规卷积神经网络，DenseNet可以更好的缓解梯度消失、增强特征传播、鼓励特征重用及减少参数。DenseNet在CIFAR、SVHN等数据集上
【参考文献】：
期刊论文
[1]深度神经网络并行化研究综述[J]. 朱虎明,李佩,焦李成,杨淑媛,侯彪. 计算机学报. 2018(08)
[2]分布式深度学习研究[J]. 辜阳,杨大为. 科技创新与应用. 2017(29)
[3]基于LPC和MFCC得分融合的说话人辨认[J]. 单燕燕. 计算机技术与发展. 2016(01)
本文编号：3277195
【文章来源】：华南理工大学广东省 211工程院校 985工程院校 教育部直属院校
【文章页数】：68 页
【学位级别】：硕士
【部分图文】：
梯度下降法
部特征提取能力。根据网络层之间的连接结构，卷积网络可分为常规卷积神经网络（CNN，ConvolutionalNeuralNetwork）、残差网络（ResNet，ResidualNeuralNetwork）[20]和DenseNet[21]。2.1.2.1CNN卷积神经网络通过设定卷积核，将目标数据与卷积核执行卷积运算，从而提取目标数据的特征。卷积核也被称为滤波器。例如对一个二维灰度图片，通过设置边界滤波器可以提取图片的边界特征，如图2-2所示。设置多个滤波器可以提取图片的各个特征。CNN的核心就是使用大量数据让神经网络模型学习滤波器的参数，从而拟合目标任务。图2-2CNN通过边界滤波器提取二维图片边界CNN中的卷积存在如下3个基本概念：1)填充（padding）。图2-2中二维图片的尺寸为（6,6），卷积运算后尺寸为（4,4），图片变小了。图片特征每卷积一次尺寸变小一次，如果尺寸太小将无法执行进一步的卷积。此外该图的边缘点参与的运算少，边缘信息容易丢失。为了解决这个问题，卷积操作前可以先将图片向外拓展一圈，即图片尺寸变为（8,8），这样卷积运算后尺寸为（6,6），和原图片尺寸保持一致。2)步长（stride）。步长是指卷积操作时，滤波器移动的间隔。图2-2中的步长为1，如果步长为2，则输出的尺寸为（2,2）。3)池化（pooling）。池化可以进一步提取一定区域的主要特征，减少模型参数，防止过拟合。常见的池化包括最大池化（MaxPooling）、平均池化（AveragePooling）等。深度学习中常使用多层卷积网络，低层神经网络提取目标低层次特征，高层神经网
第二章神经网络和云计算平台的理论基础7络基于低层次特征进一步提取高层次特征。提高CNN网络深度，能加强网络对特征的提取能力。然而，当神经网络层数较深时，误差信息难以反馈到前面层的网络，梯度的相关性随着层数增加持续衰减，从而使得其训练效果反而不如稍浅层神经网络。为了解决这个问题，文献[20]提出了ResNet。2.1.2.2ResNetResNet的核心是残差块，一个残差块的结构如图2-3所示。右侧的曲线为跳接（shortcutconnection），通过跳接，残差块将前几层的输出与本层的计算输出相加，然后将结果通过激活函数后得到本层的输出。跳接能有效进行误差反馈，保持梯度相关性。对于层的神经网络，普通连接的梯度相关性的衰减为12，而ResNet的衰减只有1√，梯度相关性大大增强[22]。图2-3残差块ResNet使得神经网络可以向更深层次发展，常见的ResNet包括Res18、Res34、Res50、Res101、Res152等。ResNet在图像识别等领域比CNN取得了更高的准确率。2.1.2.3DenseNet鉴于ResNet通过跳接取得了更好的效果，文献[21]提出一种新架构DenseNet，进一步利用跳接，将一定范围内的所有层连接在一起。DenseNet主要由DenseLayer和TransitionLayer交替组成。在每个DenseLayer中，第层将前面所有层的特征映射的连接作为输入。假设每层的特征映射个数为（该值也被称为增长率），则DenseLayer中第层的输入特征映射个数为0+(1)×，其中0是该DenseLayer的输入通道数。DenseLayer中输入特征映射数随着层数的增加而增长，为了避免输入特征个数太大，DenseNet在DenseLayer之间添加TransitionLayer来减小输入特征映射个数。相比常规卷积神经网络，DenseNet可以更好的缓解梯度消失、增强特征传播、鼓励特征重用及减少参数。DenseNet在CIFAR、SVHN等数据集上
【参考文献】：
期刊论文
[1]深度神经网络并行化研究综述[J]. 朱虎明,李佩,焦李成,杨淑媛,侯彪. 计算机学报. 2018(08)
[2]分布式深度学习研究[J]. 辜阳,杨大为. 科技创新与应用. 2017(29)
[3]基于LPC和MFCC得分融合的说话人辨认[J]. 单燕燕. 计算机技术与发展. 2016(01)
本文编号：3277195
本文链接：https://www.wllwen.com/guanlilunwen/ydhl/3277195.html
