神经网络参数压缩和推断加速方法的研究

发布时间：2022-10-19 21:04

　　最近几年,随着深度神经网络爆发式的研究和发展,其强大的特征提取和拟合能力使其在图像识别、自然语言处理、语音识别等领域得到了广泛的应用。为了提高神经网络模型的性能,研究人员普遍会设计更深和更复杂的网络,这样会使模型的参数量和计算量大大增加,这对硬件资源（CPU,GPU内存,带宽）的要求也越来越高,成本十分昂贵。同时,将如此复杂的深度神经网络直接部署在计算能力和续航能力有限移动设备上（如手机、无人机、机器人、智能眼镜）具有很大的难度,如何应对设备存储空间和计算能力有限是其中的重大挑战。本文从提高模型的紧凑性和计算的高效性这两方面来解决该问题。本文的主要工作有:1.在主流的轻量型神经网络Mobile Net的基础上,使用Tensor-Train张量分解技术对深度可分离卷积中的1×1卷积进行压缩。提出了自适应Tensor-Train分解算法解决了寻找最优分解秩繁琐的调优问题。对于Cifar-10数据集,本文所提出模型中的参数量仅为Mobile Net 20%-30%。2.针对Tensor-Train分解算法在GPU端前向加速不明显的问题,本文在自适应Tensor-Train分解的基础上,使用较... 

【文章页数】：62 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
第1章 引言
    1.1 研究背景和意义
    1.2 国内外研究现状
        1.2.1 参数剪枝
        1.2.2 参数共享
        1.2.3 低秩分解
        1.2.4 紧凑卷积核
        1.2.5 知识蒸馏
    1.3 本文的研究内容和工作
    1.4 本文的主体结构
    1.5 本章小结
第2章 传统卷积神经网络和张量分解
    2.1 传统卷积神经网络结构
        2.1.1 卷积层
        2.1.2 全连接层
    2.2 张量分解
        2.2.1 CP分解
        2.2.2 Tucker分解
        2.2.3 Tensor-Train分解
    2.3 使用Tensor-Train张量分解压缩传统神经网络
        2.3.1 压缩全连接层
        2.3.2 压缩卷积层
        2.3.3 实验设计
        2.3.4 实验结果
    2.4 存在的问题分析及改进
        2.4.1 自适应Tensor-Train分解算法
        2.4.2 实验设计
        2.4.3 实验结果
    2.5 本章小结
第3章 Tensor-Train分解和量化技术加速轻量型神经网络
    3.1 轻量型神经网络
        3.1.1 MobileNet V1
        3.1.2 MobileNet V2
    3.2 基于Tensor-Train张量分解的深度可分离卷积
        3.2.1 MobileNet卷积结构存在的问题分析
        3.2.2 自适应Tensor-Train分解算法压缩深度可分离卷积
        3.2.3 实验设计
        3.2.4 实验结果
    3.3 模型推断速度的提升不足的分析及改进
        3.3.1 缺陷分析
        3.3.2 改进Tensor-Train分解秩策略
        3.3.3 改进矩阵运算方式
        3.3.4 改进后的实验结果
    3.4 量化网络参数
        3.4.1 量化方法
        3.4.2 实验结果
    3.5 本章小结
第4章 基于Tensor-Train和量化技术的轻量型SSD检测网络
    4.1 轻量型实时目标检测系统
        4.1.1 SSD目标检测网络简介
        4.1.2 基于Tensor-Train张量分解和量化技术的轻量型目标检测网络
    4.2 实验设计
        4.2.1 COCO数据集介绍
        4.2.2 实验详情
        4.2.3 实验结果
    4.3 本章小结
第5章 总结与展望
    5.1 本文工作总结
    5.2 未来研究展望
参考文献
致谢
作者简历及攻读学位期间发表的学术论文与研究成果



本文编号：3694101