轻量级的多维卷积神经网络的研究

发布时间：2023-05-20 02:43

　　二维卷积神经网络已经被广泛应用于二维图像领域,并取得了令人瞩目的成绩。利用多维卷积操作,可将二维的卷积网络模型直接推广到多维卷积网络模型,然而随着信号维度的增加,模型参数急剧增加,卷积操作的时间和空间复杂度提高,从而导致网络计算和存储代价大幅度的提升。为此,本文利用两类可分离结构降低卷积的运算复杂度,提出两种轻量级的卷积神经网络。本文的工作主要集中在如下两个方面:第一,提出基于序贯结构的多维可分离卷积神经网络,在网络中采用一组一维卷积操作取代传统的一次多维卷积操作,模型在每个维度上交替进行一维的卷积运算。与传统卷积网络相比,该模型降低了空间复杂度,而且将指数级时间复杂度降为线性级复杂度。在MNIST和KTH数据集上对该模型进行测试,实验表明该模型在较低的时空复杂度下获得与传统卷积网络模型相似的识别精度,同时在小样本时,该模型的识别精度比传统模型高9%。第二,提出基于多路并行结构的多维可分离卷积神经网络。该模型利用高阶张量表示多维信号,由多层的输入和输出均为高阶张量的模块组成。在每个模块中,通过张量运算、利用一组一维卷积并行操作提取信号在不同维度的特性,通过特征融合,获得该模块层的多维信...

【文章页数】：68 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第1章 绪论
    1.1 研究背景和意义
    1.2 国内外研究现状
        1.2.1 深度学习方法
        1.2.2 轻量级的深度网络
    1.3 本文组织结构
第2章 卷积神经网络技术
    2.1 引言
    2.2 神经网络结构
    2.3 常见的CNN结构
        2.3.1 序贯结构
        2.3.2 Inception结构
        2.3.3 残差网络结构
    2.4 网络训练算法
        2.4.1 参数初始化
        2.4.2 参数更新
    2.5 卷积神经网络轻量化技术
        2.5.1 网络冗余度
        2.5.2 低秩分解
        2.5.3 参数修剪
        2.5.4 紧凑滤波器
    2.6 本章小结
第3章 基于序贯结构的轻量级多维卷积神经网络
    3.1 引言
    3.2 卷积层模型
    3.3 网络结构
    3.4 实验结果与分析
        3.4.1 MNIST和KTH行为数据集
        3.4.2 网络结构及训练策略设置
        3.4.3 视频通道采样
        3.4.4 性能比较
    3.5 本章小结
第4章 基于多路并行的轻量级多维卷积神经网络
    4.1 引言
    4.2 卷积层模型
    4.3 特征融合
    4.4 网络结构模块化设计
        4.4.1 网络结构
        4.4.2 超参设计
    4.5 实验结果与分析
        4.5.1 CIFAR-10 数据集
        4.5.2 网络结构调优及训练策略
        4.5.3 特征融合的有效性验证
        4.5.4 性能对比
    4.6 本章小结
结论
参考 文献
攻读硕士学位期间所发表的学术论文
致谢



本文编号：3820381