基于卷积神经网络压缩算法的关键词识别系统设计

发布时间：2021-04-27 08:29

　　关键词识别（Keyword spotting,KWS）是一个热门的研究方向,在可穿戴设备、机器人和智能家居等领域有着大量的应用空间。卷积神经网络（Convolutional Neural Network,CNN）能够联合语音信号时域和频域的特征,并且对于噪声有很好的鲁棒性,因此成为关键词识别中最重要的神经网络算法之一。但是CNN参数量和计算量巨大,限制了关键词识别在便携式设备的部署,因此卷积神经网络的压缩有着十分重大的现实意义。本文的KWS系统是基于CNN实现的,而CNN是计算密集型和存储密集型,因此本文对CNN进行压缩,压缩主要包括量化和剪枝两个方面。通过对权重参数、激活值和网络输入进行量化以及对卷积层进行剪枝,可以大大减小模型的参数量和计算量。权重二值化可以大大压缩参数的存储空间,但二值化造成网络性能下降,本文采用渐进量化的策略对权重进行二值化,有效减少了网络的性能损失。由于CNN模型在计算过程中每层有大量的输出（激活值）,通过对激活值进行低位宽量化可以大大减小模型大小。对网络输入进行量化造成了极大的信息损失,本文提出高阶残差量化方案,通过高阶残差量化从量化丢失的信息中提取有用信息... 

【文章来源】：东南大学江苏省 211工程院校 985工程院校 教育部直属院校

【文章页数】：79 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第一章 绪论
    1.1 研究背景与意义
        1.1.1 关键词识别的研究进展
        1.1.2 深度神经网络压缩的意义
    1.2 国内外研究现状
    1.3 研究内容与设计指标
    1.4 论文组织结构
第二章 卷积神经网络算法特性分析
    2.1 卷积神经网络基本算法分析
        2.1.1 神经元的模型
        2.1.2 卷积神经网络算法
    2.2 卷积神经网络计算和存储特性分析
        2.2.1 卷积层计算特性分析
        2.2.2 全连接层参数特性分析
    2.3 本章小结
第三章 基于渐进量化和卷积核级剪枝的神经网络模型压缩研究
    3.1 神经网络的量化方案
        3.1.1 权重的渐进量化
        3.1.2 激活值的量化
    3.2 高阶残差量化
    3.3 卷积核级剪枝
        3.3.1 卷积核级剪枝的可行性分析
        3.3.2 基于前后级联合评价策略的卷积核级剪枝方案
    3.4 本章小结
第四章 基于卷积神经网络压缩算法的关键词识别系统设计
    4.1 基于卷积神经网络的关键词识别系统设计
        4.1.1 特征提取方案设计
        4.1.2 关键词识别网络结构
    4.2 基于量化剪枝卷积神经网络的关键词识别系统设计
        4.2.1 量化技术在关键词识别网络中的实施方案
        4.2.2 基于前后级联合评价策略的卷积核级剪枝实施方案
    4.3 KWS系统的FPGA实现
    4.4 本章小结
第五章 验证与结果分析
    5.1 压缩技术有效性验证
        5.1.1 量化方案验证及分析
        5.1.2 基于前后级联合评价策略的卷积核级剪枝方案有效性验证
    5.2 基于卷积神经网络量化剪枝的KWS系统测试与验证
        5.2.1 KWS系统中量化方案验证
        5.2.2 KWS系统中量化和剪枝联合实施方案验证
        5.2.3 FPGA验证
    5.3 方案对比
第六章 总结与展望
    6.1 总结
    6.2 展望
致谢
参考文献
作者简介



本文编号：3163136