基于超参数自动优化的压缩神经网络模型研究

发布时间：2021-05-19 23:58

　　深度神经网络是目前是许多人工智能应用的基础,在语音识别和图像识别等诸多人工智能领域引发了突破。这些深度神经网络被部署到了从自动驾驶、癌症检测到复杂游戏等各种实际场景中。然而,现在深度神经网络的层级数量十分巨大,可以达到5层到1000多层,导致了其运行和存储所需的内存开销巨大。体积如此庞大的神经网络模型难以应用于移动端设备,无法适应如今移动设备的快速发展。因此,如何对神经网络体积进行压缩成为了最近人工智能领域重要的研究方向。本文通过对神经网络压缩方法和超参数优化方法的研究,提出了HORD-HD压缩神经网络架构。首先本文介绍了卷积神经网络的基本构成和原理,解释了分类器、特征抽象、全连接网络、卷积网络的基本概念。然后对Hash量化、矢量量化、标量量化以及SVD分解等几种简单实用的压缩方法进行了研究,通过理论分析和实验对比,证明了Hash量化在同等压缩比率下较其他方法有更高的准确率。在实验阶段,实验结果表明Hash量化方法能够在精度损失不到1%的情况下,将一个五层的卷积神经网络的最后一个隐含层与输出层间的连接权值矩阵压缩至1/8。并能够在损失8%精度的情况下将其压缩至1/16。其次,为了优化H... 

【文章来源】：湖北工业大学湖北省

【文章页数】：60 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第一章 绪论
    1.1 研究背景
    1.2 国内外研究现状
        1.2.1 神经网络压缩技术的研究现状
        1.2.2 超参数优化技术的研究现状
    1.3 本文的内容及组织结构
    1.4 本章小结
第二章 卷积神经网络概述
    2.1 SoftMax分类器
    2.2 自编码器与多层感知机
    2.3 卷积神经网络
    2.4 本章小结
第三章 自动超参数优化算法研究
    3.1 超参数优化算法概述
    3.2 贝叶斯超参数优化方法
        3.2.1 高斯过程模型
        3.2.2 指引函数搜索策略
    3.3 HORD超参数自动优化模型
        3.3.1 RBF径向基插值模型
        3.3.2 协调动态搜索
    3.4 HORD超参数优化算法实验
        3.4.1 HORD算法实验设计及环境
        3.4.2 HORD算法实验数据
        3.4.3 HORD算法实验结果及分析
    3.5 本章小结
第四章 Hash神经网络压缩算法
    4.1 神经网络压缩算法概述
    4.2 神经网络剪枝算法
    4.3 基于低秩次级矩阵分解的压缩算法
    4.4 量化压缩算法
        4.4.1 二值量化方法
        4.4.2 标量量化方法
        4.4.3 向量量化方法
        4.4.4 Hash量化方法
    4.5 压缩算法实验
        4.5.1 压缩算法实验设计
        4.5.2 压缩算法实验环境
        4.5.3 压缩算法实验结果及分析
    4.6 本章小结
第五章 基于HORD的压缩神经网络模型
    5.1 Hash量化算法优化
    5.2 HORD-HD
    5.3 HORD-HD算法实验设计
    5.4 HORD-HD算法实验环境
    5.5 HORD-HD算法实验分析
    5.6 本章小结
第六章 总结与展望
参考文献
致谢
附录：在校期间个人成果


【参考文献】：
期刊论文
[1]深度神经网络的压缩研究[J]. 韩云飞,蒋同海,马玉鹏,徐春香,张睿.  计算机应用研究. 2018(10)
[2]基于改进激活函数的卷积神经网络研究[J]. 曲之琳,胡晓飞.  计算机技术与发展. 2017(12)
[3]深度学习中的自编码器的表达能力研究[J]. 王雅思,姚鸿勋,孙晓帅,许鹏飞,赵思成.  计算机科学. 2015(09)
[4]深度学习的昨天、今天和明天[J]. 余凯,贾磊,陈雨强,徐伟.  计算机研究与发展. 2013(09)
[5]深度学习研究综述[J]. 孙志军,薛磊,许阳明,王正.  计算机应用研究. 2012(08)
[6]基于HOG特征和SVM的手势识别[J]. 任彧,顾成成.  科技通报. 2011(02)
[7]关于多层感知器的函数逼近能力[J]. 韦岗,贺前华,欧阳景正.  信息与控制. 1996(06)

硕士论文
[1]SIFT算法的研究和改进[D]. 冯嘉.吉林大学 2010
[2]径向基插值近似方法理论与应用研究[D]. 魏月兴.国防科学技术大学 2009



本文编号：3196678