基于加速算法及稀疏化卷积神经网络加速方案研究与设计

发布时间：2022-10-20 20:50

　　卷积神经网络（Convolutional Neural Networks,CNNs）因其极大地提高了图像识别的准确率,而在图像处理领域受到追捧。但是卷积神经网络带来了大量卷积操作,其计算成本往往令人难以接受。为了加快执行速度,学术界提出了多种解决方案。解决方案主要从两方面出发,一是加速算法,利用高效的卷积加速算法处理卷积层,提升执行速度。然而,每种算法都有其优点和缺点,并且没有一种算法可以处理所有情况。第二便是使用硬件加速器,定制加速卷积运算。但目前定制硬件加速器多主要采用传统的卷积算法,并且缺乏对神经网络稀疏性的支持,从而丧失了进一步改进硬件,提升硬件性能的空间。针对目前这两种方案的缺陷,本文首先提出了应对算法特性各异的解决办法。本课题研究了GPU环境下各种算法的性能,充分探索不同数据结构参数对算法性能的影响,包括执行速度,占用显存和功耗/能耗随参数变化情况。同时深入到GPU底层,跟踪计算过程中调用的内核函数,从而概括总结这些算法的特性。最后,根据实验结果,总结每种算法的适用条件,从而设计了优化算法调度策略。该策略为卷积神经网络中不同数据结构参数的卷积层分配最优算法。使用该策略,在G... 

【文章页数】：73 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第一章 绪论
    1.1 课题背景及研究意义
    1.2 国内外研究现状
        1.2.1 算法研究现状
        1.2.2 加速平台研究现状
    1.3 研究内容
    1.4 本文组织架构
第二章 相关理论概述
    2.1 卷积神经网络介绍
    2.2 神经网络数据结构及参数
    2.3 卷积加速算法
        2.3.1 直接算法
        2.3.2 通用矩阵乘算法及其改进
        2.3.3 快速傅里叶变换算法
        2.3.4 Winograd算法
    2.4 稀疏网络
        2.4.1 网络剪枝
        2.4.2 数据量化
        2.4.3 稀疏Winograd算法
    2.5 本章小结
第三章 加速算法性能分析与调度方案设计
    3.1 实验方法与实验环境
    3.2 加速算法性能对比
        3.2.1 处理批次影响
        3.2.2 输入尺寸影响
        3.2.3 卷积核数目影响
        3.2.4 卷积核尺寸影响
        3.2.5 跨步影响
    3.3 加速算法性能瓶颈分析
        3.3.1 通用矩阵乘算法分析
        3.3.2 快速傅里叶变换算法分析
        3.3.3 Winograd算法分析
        3.3.4 直接算法分析
        3.3.5 各个算法功耗分析
    3.4 优化算法调度策略设计
    3.5 优化算法调度策略实验评估
        3.5.1 实验方法
        3.5.2 实验环境
        3.5.3 实验结果
    3.6 本章小结
第四章 硬件加速器设计
    4.1 设计方案简介
    4.2 加速器运算模块设计
        4.2.1 压缩编码
        4.2.2 运算单元
    4.3 加速器buffer模块设计
    4.4 加速器性能分析
    4.5 加速器性能评估
        4.5.1 实验方法
        4.5.2 实验环境
        4.5.3 实验结果与分析
    4.6 本章小结
第五章 总结与展望
致谢
参考文献
作者在学期间取得的学术成果



本文编号：3695280