基于蒸馏迁移网络的无监督图像分类方法研究

发布时间：2022-11-01 20:28

　　随着智能监控,自动驾驶等计算机视觉应用的普及,图像分类作为这类应用的底层支持,近几年来获得了快速的发展。然而在现实生活及生产活动中,获取的图像大部分都是没有标签的,由于传统图像分类方法无法处理互联网级别的无标签数据,无监督域适应技术的提出很好地解决了这一问题。深度迁移网络作为无监督域适应领域最新的技术成果之一,成功地将深度神经网络在特征提取上的优势与域适应技术在分布匹配上的能力相结合,通过匹配源域与目标域之间的深层特征,相比传统域适应技术大幅地提高了分类准确率。然而,深度迁移网络由于其复杂的网络结构,在迁移训练过程中噪声数据产生的复杂关系易导致网络模型过拟合。通常源数据集和目标数据集之间存在较大差异,使用标准dropout难以确定模型参数缩放的最优尺度。而且深度迁移网络在域迁移训练时缺乏足够的泛化能力,虽然使用类别概率向量作为训练的软目标,但还是会偏向于正确类别的概率匹配而忽略类别间的相似信息,影响最终模型的匹配性能。本文在深度迁移网络的基础上进一步实现了蒸馏迁移网络,其主要改进部分为在条件分布匹配阶段嵌入蒸馏操作,蒸馏的主要原理是随着温度参数的增加,会使类别间概率向量分布更均匀,提升... 

【文章页数】：62 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第1章 绪论
    1.1 研究背景及意义
    1.2 国内外研究现状
        1.2.1 迁移学习
        1.2.2 域适应
        1.2.3 正则化
    1.3 研究问题与本文工作
        1.3.1 研究动机与改进
        1.3.2 论文结构安排
第2章 多尺度融合dropout优化算法
    2.1 dropout原理
    2.2 dropout训练
        2.2.1 激活函数的选择
        2.2.2 优化函数的选择
        2.2.3 训练过程
    2.3 传统dropout
        2.3.1 标准dropout
        2.3.2 蒙特卡洛dropout(MC dropout)
    2.4 遗传算法求取最优尺度
        2.4.1 遗传算法原理
        2.4.2 求解最优尺度过程
        2.4.3 算法评价
    2.5 多尺度融合
        2.5.1 softmax原理
        2.5.2 多尺度融合过程
        2.5.3 算法评价
    2.6 实验及分析
        2.6.1 数据集
        2.6.2 模型结构
        2.6.3 实验设置
        2.6.4 实验结果及分析
        2.6.5 参数分析
    2.7 本章小结
第3章 蒸馏迁移网络
    3.1 无监督域适应
    3.2 卷积神经网络
    3.3 深度迁移网络
        3.3.1 批数据集及分布表示
        3.3.2 匹配边缘分布
        3.3.3 匹配条件分布
        3.3.4 确立目标函数
        3.3.5 DTN的优化过程
    3.4 蒸馏(Distillation)原理
    3.5 蒸馏迁移网络实现
        3.5.1 改进动机
        3.5.2 蒸馏法提取相似性特征原理
        3.5.3 蒸馏迁移网络训练细节
        3.5.4 算法评价
    3.6 实验及分析
        3.6.1 数据集
        3.6.2 评价指标
        3.6.3 对比方法
        3.6.4 实验结果及分析
        3.6.5 参数分析
    3.7 本章小结
第4章 整合模型
    4.1 整合动机
    4.2 整合过程
    4.3 实验及分析
    4.4 本章小结
第5章 全文总结与展望
    5.1 总结
    5.2 展望
致谢
参考文献
攻读学位期间发表的学术论文及参与项目


【参考文献】：
期刊论文
[1]多尺度融合dropout优化算法[J]. 钟忺,陈恩晓,罗瑞奇,卢炎生.  华中科技大学学报(自然科学版). 2018(09)
[2]一种基于混淆矩阵的分类器选择方法[J]. 米爱中,张盼.  河南理工大学学报(自然科学版). 2017(02)
[3]Dropout Rademacher complexity of deep neural networks[J]. Wei GAO,Zhi-Hua ZHOU.  Science China（Information Sciences）. 2016(07)



本文编号：3700048