知识蒸馏在深度学习对抗样本中的应用研究

发布时间：2023-11-17 19:33

　　以深度神经网络为代表的深度学习最近发展迅速,并实际运用在图像识别、语音识别和自然语言处理等诸多领域。然而有研究指出深度学习还存在一些问题,其中可能会造成重大安全问题的对抗样本问题引起了学术界广泛关注。对深度学习对抗样本问题进行深度而全面的探讨,不仅有助于解决潜藏的安全隐患,也利于促进深度学习理论的研究,具有重要的理论和现实意义。本文针对深度学习对抗样本问题,对深度神经网络和对抗样本进行深入地理论研究和实验分析,并将知识蒸馏应用于深度学习对抗样本问题,提出了一种新的对抗样本的防御策略,并且在对抗样本的应用上基于对抗样本和知识蒸馏提出一种新的模型集成方法。本文的主要工作和成果如下:1.针对对抗样本问题,提出一种基于对抗训练和知识蒸馏的防御方法,两阶段对抗知识迁移。此方法先将对抗样本作为训练数据进行对抗训练得到鲁棒性强的复杂的教师网络,完成将对抗知识从数据迁移到模型;其次利用教师网路对干净样本和对抗样本输出的软标签进行知识蒸馏,得到鲁棒性强的学生网络,完成将对抗知识从模型迁移到模型。2.针对对抗样本的应用,提出一种基于知识蒸馏和对抗样本的集成方法。影响模型集成的要素有模型准确性和模型差异性,...

【文章页数】：69 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
第1章 引言
    1.1 研究背景
    1.2 研究现状
    1.3 研究意义
    1.4 论文结构
    参考文献
第2章 深度学习与神经网络
    2.1 人工神经网络
    2.2 深度学习
        2.2.1 CNN结构
        2.2.2 经典卷积神经网络
        2.2.3 深度神经网络的压缩
    参考文献
第3章 深度学习中的对抗样本问题
    3.1 对抗样本的定义
    3.2 生成对抗样本的攻击方法
        3.2.1 Box-constrained L-BFGS攻击方法
        3.2.2 FGSM攻击方法及其衍生方法
        3.2.3 C&W攻击方法及其衍生方法
        3.2.4 DeepFool攻击方法
        3.2.5 JSMA攻击方法
    3.3 防御对抗样本的防御策略
        3.3.1 对抗训练
        3.3.2 隐藏梯度信息
    参考文献
第4章 两阶段对抗知识迁移
    4.1 对抗知识迁移
        4.1.1 对抗知识从数据到模型迁移
        4.1.2 对抗知识从模型到模型迁移
    4.2 实验评估
        4.2.1 数据集与模型设置
        4.2.2 对抗知识迁移的有效性
        4.2.3 模型的鲁棒性评估
        4.2.4 训练过程的收敛性分析
    4.3 结论
    参考文献
第5章 基于对抗样本蒸馏的神经网络集成
    5.1 预备知识
        5.1.1 对抗样本增强知识蒸馏
        5.1.2 神经网络集成
    5.2 基于对抗样本蒸馏的神经网络集成
        5.2.1 知识蒸馏和边界支持对抗样本的实现
        5.2.2 神经网络集成的实现
        5.2.3 基于对抗样本蒸馏的神经网络集成
    5.3 实验评估
        5.3.1 数据集与网络结构
        5.3.2 不同温度下知识蒸馏网络的性能
        5.3.3 知识蒸馏模型的集成
        5.3.4 基于对抗样本蒸馏的神经网络集成
    5.4 结论
    参考文献
第6章 结论与展望
    6.1 结论
    6.2 展望
致谢
攻读学位期间参加的科研项目和成果



本文编号：3864743