基于传统卷积神经网络处理器的反卷积层加速研究

发布时间：2020-05-16 01:19

【摘要】：全卷积神经网络在计算机视觉应用中普遍存在,例如物体检测,语义/图像分割以及可以学习在语音、图像、视频和文本等多个应用领域中自动创建标记数据集的生成性对抗网络。在一个全卷积网络中,传统卷积层和反卷积层都是计算复杂度的主要来源。然而,早期的深度学习加速器设计主要关注于卷积神经网络的优化,对于反卷积层的加速研究关注较少。目前的研究工作中,一种较为常见的方法是设计独立的计算资源去处理反卷积层,但是这种方式会引起相当大的硬件资源开销。在本文的研究中,对于反卷积层的加速设计进行了深入的探索。对于反卷积层的硬件加速器进行了深入的探索,最大化的利用广泛使用的卷积加速器架构实现反卷积的加速,在卷积加速器的基础上实现了全卷积神经网络的加速。我们重新优化了一维(点积)处理单元阵列和常规二维处理单元阵列的传统卷积神经网络加速器架构。对于一维阵列,本文提出一种计算模型将反卷积映射到加速器,其在一组代表性的研究应用中可实现1.6~3.9倍的加速,并且将能耗降低41.7%~72.3%。对于二维处理单元阵列,通过利用反卷积核局部性,该架构将片上存储通信的消耗从24.79 GB减少到6.56 GB。与以往的反卷积加速设计方案相比,所提出的加速器在不同的基准应用中取得了1.3~2.7倍的加速并且将能耗降低了15.6%~63.5%。本文进而提出了一种新颖的反卷积层加速实现方案,完全采用软件的转换方式,这种方式重组了反卷积层的计算流程,把反卷积核拆分并转化成多个小核,从而把反卷积运算视为卷积操作来实现。这种方案在不增加任何硬件修改的前提下,只利用现有CNN加速器来加速反卷积运算。所提出的数据流在一维阵列和常规二维阵列架构上实现,在一组基准应用中实现了2.4~4.3倍的性能加速并且将能耗降低了27.7%~54.5%。
【图文】：

第二章 神经网络及加速器绍了深度学习中的基础神经网络算法以及基础人工神经网络，接着比较了普通卷积映射反卷积的两款加速器平台（一维点积构。经网络包含了输入层、隐藏层以及输出层，元如图 2.1 所示[25]，对应的计算公式为（2个输入值，每个输入值都有对应的权重值（元的输出是同一时刻在多个输入共同作用（的那样。

络个神经网络包含了输入层、隐藏层以及输出层，每一层本单元如图 2.1 所示[25]，，对应的计算公式为（2.1）。每2等多个输入值，每个输入值都有对应的权重值（W）与神经元的输出是同一时刻在多个输入共同作用（求和））描述的那样。图 2. 1 人工神经网络基本单元模型Fig. 2.1 The basic unit model of artificial neural networks
【学位授予单位】：合肥工业大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP183;TP332

【相似文献】

相关期刊论文 前10条

1 肖翱;徐枫;雍俊海;施侃乐;;针对虚拟现实眼镜的近/远视反卷积矫正算法[J];计算机辅助设计与图形学学报;2017年07期

2 成谢锋;陈鹤鸣;马勇;黄勇林;;混沌卷积混合信号的预测重构盲反卷积方法[J];智能系统学报;2007年04期

3 刘明亮,高剑;基于改进的迭代增量频域反卷积滤波器的图像复原[J];电子学报;2004年12期

4 杨梅;反卷积技术及其在工程中的应用[J];成都电子机械高等专科学校学报;1999年03期

5 王宝祥;;时域数字反卷积[J];自动化技术与应用;1985年04期

6 刘明亮;施正豪;;用补偿法获得数字反卷积稳定解[J];电子测量与仪器学报;1987年01期

7 王万树,孟卫林;频域数字反卷积新的迭代法[J];计量学报;1988年02期

8 张轶文;;反卷积法用于单光子发射计算机层析X射线摄影(SPECT)中散射补偿与窗减法技术的比较[J];国外医学.生物医学工程分册;1988年04期

9 孙圣和,郑福春;一种改进的数字反卷积方程[J];电子学报;1989年01期

10 孙圣和,郑福春;数字反卷积问题的Prony拟合法[J];电子学报;1989年02期

相关会议论文 前10条

1 吴新星;李明;李目海;单佩韦;;网络微积分中最小加反卷积的研究[A];2008'中国信息技术与应用学术论坛论文集（一）[C];2008年

2 李栋栋;郭学彬;瞿安连;徐涛;;应用三维荧光反卷积显微技术观察活体细胞[A];中国生理学会第21届全国代表大会暨学术会议论文摘要汇编[C];2002年

3 熊俊;李栋栋;瞿安连;;活体细胞四维图像科学可视化方法的研究[A];中国生物医学工程学会第六次会员代表大会暨学术会议论文摘要汇编[C];2004年

4 李娜;林建恒;孙军平;江鹏飞;衣雪娟;兰华林;;基于反卷积波束形成的船噪声信噪比估计[A];2019年全国声学大会论文集[C];2019年

5 吴义芳;汤俊雄;赵奕平;郑乐民;;一种高分辨谱方法的建议——反卷积法[A];第五届全国基础光学学术报告会和交叉科学中的光学问题讨论会论文集[C];1991年

6 李育杉;戴宪华;刘军;;一种时变MIMO系统盲反卷积模型[A];第十届全国信号处理学术年会（CCSP-2001）论文集[C];2001年

7 齐诚;王伟君;陈棋福;刘宁;;反卷积类干涉法对建筑物振动特性的研究[A];中国地球物理·2009[C];2009年

8 李栋栋;郭学彬;瞿安连;徐涛;;三维反卷积荧光显微图像恢复方法比较[A];第九次全国生物物理大会学术会议论文摘要集[C];2002年

9 谢旭飞;樊铁栓;陈金象;袁熙;张兴;李湘庆;;聚变中子谱仪液体闪烁体探测器的γ刻度及能谱反卷积研究[A];第十四届全国核物理大会暨第十届会员代表大会论文集[C];2010年

10 邢树果;苏彦;封剑青;李俊铎;薛喜平;;基于最大熵方法月球表面亮温度数据处理模拟[A];第十届全国月球科学与比较行星学陨石学与天体化学学术研讨会会议论文集[C];2012年

相关博士学位论文 前7条

1 卢宪凯;基于深度学习的目标跟踪研究[D];上海交通大学;2018年

2 任冬伟;面向盲反卷积的模糊核估计与图像复原方法研究[D];哈尔滨工业大学;2017年

3 娄帅;多尺度变换域图像反卷积理论研究[D];哈尔滨工业大学;2010年

4 孙小君;最优和自校正多传感器信息融合白噪声反卷积估值器[D];黑龙江大学;2010年

5 罗洁;基于逆问题的膜片钳新技术研究[D];华中科技大学;2012年

6 杨航;图像反卷积算法研究[D];吉林大学;2012年

7 李刚;航空成像去运动模糊技术研究[D];中国科学院研究生院（长春光学精密机械与物理研究所）;2011年

相关硕士学位论文 前10条

1 涂凯杰;基于传统卷积神经网络处理器的反卷积层加速研究[D];合肥工业大学;2019年

2 郭成雯;声学成像优化中的信号处理研究[D];南京大学;2019年

3 夏一鸣;基于反卷积的扫描电化学成像去拖尾算法[D];东北师范大学;2018年

4 郭乔鹤;基于双线阵的船噪声信号被动检测技术研究[D];哈尔滨工程大学;2018年

5 吴小杰;基于反卷积网络的图像去噪及分类方法[D];长安大学;2018年

6 陈才慧;基于傅里叶变换的快速迭代收缩阈值反卷积声源识别算法研究[D];重庆大学;2018年

7 王丙付;人脸识别中的眼镜遮挡问题研究[D];合肥工业大学;2017年

8 孙艳茹;复杂场景下行人检测算法研究[D];北方工业大学;2018年

9 周照静;反卷积试井分析技术研究与应用[D];中国石油大学(华东);2015年

10 袁雪寒;基于反卷积网络的图像模式学习及应用[D];华南理工大学;2016年

本文编号：2665922