深度学习处理器基准测试程序的设计与实现

发布时间：2024-02-26 20:05

　　近些年来,卷积神经网络(Convolutional Neural Network,CNN)作为最重要的深度学习(Deep Learning,DL)模型之一,在业界受到了广泛的关注和研究,尤其是在计算机视觉(Computer Vision,CV)等领域发挥着至关重要的作用。由于更深层次的网络往往能够提供更好的效果,卷积神经网络变得越来越复杂,随着网络结构的不断加深和训练数据量的显著增长,通用处理器已经无法很好地满足这类应用的计算需求。于是,计算芯片架构开始朝着适应这类应用的定制化方向演进,进而出现了一系列的深度学习专用芯片,其中最具有影响力的包括寒武纪的DianNao系列和谷歌的TPU。它们均是针对卷积神经网络进行了专用部件的定制和加速,甚至为卷积神经网络设计出了一套高效的专用指令集,可以说,当今国际上的深度学习处理器即为面向卷积神经网络的加速器。在处理器的设计过程中,标准的基准测试程序和测试指标至关重要。本文提出了一套深度学习处理器基准测试程序,用于对当前的深度学习硬件进行客观评估,判断处理器设计的合理性以及对比不同处理器的设计优劣,指导软硬件层面的系统优化,帮助硬件研究人员设计出高效...

【文章页数】：97 页

【学位级别】：硕士

【部分图文】：

图２．２同步数据并行训练和异步数据并行训练??采用随机梯度下降法（ｓｔｏｃｈａｓｔｉｃ?ｇｒａｄｉｅｎｔ?ｄｅｓｃｅｎｔ，ＳＧＤ）［１４】训练时，加速ＳＧＤ过??程最简单的方法就是在多个设备上并行实现梯度计算

ＴｅｎｓｏｒＦｌｏｗ的数据流图模型能够很好地应用于计算密集型网络在大规模数??据集上的训练加速过程，主要包括数据并行训练和模型并行训练，其中，数据??并行训练又分为同步和异步两种方式，具体实现过程如图２．２所示。当网络模型??１１??

图３．３目标检测领域的深度学习算法??，

传线方法?传法方法?ＡｔｅｘＮｅ；?ＺｆＮｅｔ?Ｖ０６?ＧｏｏｇＬｅＮｅｒ?ＳｒＴＣｃｐｒｉｏｎ＿ｖ２ｌｎｃｅｐｌ＇〇ｎ＿ｖ３?Ｒｃ．ｓＮ？ｔ?｜ｎｃ＜；ｐｔｉ〇ｎ＿ｙ４?ＫｅｉＭ？Ｘ?ｔ?ＳｔＮｓｒ??■ｔｏｐｓ猪误ｓ?■网绾壤＆??图３．２主流分类网络在ＩｍａｇｅＮｅｔ数据集....

图３．４基于中髙级语义的图像分割方法??注：黑色、紫色、橙色、红色字体分别代表基于图论的分割方法、基于像素聚类??的分割方法、基于候选区域的语义分割方法、基于端到端的语义分割方法??

传线方法?传法方法?ＡｔｅｘＮｅ；?ＺｆＮｅｔ?Ｖ０６?ＧｏｏｇＬｅＮｅｒ?ＳｒＴＣｃｐｒｉｏｎ＿ｖ２ｌｎｃｅｐｌ＇〇ｎ＿ｖ３?Ｒｃ．ｓＮ？ｔ?｜ｎｃ＜；ｐｔｉ〇ｎ＿ｙ４?ＫｅｉＭ？Ｘ?ｔ?ＳｔＮｓｒ??■ｔｏｐｓ猪误ｓ?■网绾壤＆??图３．２主流分类网络在ＩｍａｇｅＮｅｔ数据集....

图３．５卷积神经网络一遍前向的ＭＡＣＣｓ??连接层而言较高，全连接层对网络的ＭＡＣＣｓ影响力度被隐藏

Ｈ。和Ｗ。表示卷积层的输出特征图尺寸，和表示卷积核尺寸，??和，分别表示输入通道数和输出通道数，均和叫表示输入特征图的尺寸。??图３．５给出了所选网络在单样本输入时一次前向过程的卷积层和全连接层的乘加??操作次数，即网络的一次前向计算量。??Ｃｏｎｕ＿Ｍ＞４ＣＣｓ?？０（／ｆ０?....

本文编号：3911788