面向精细视觉理解的深度渐进学习研究

发布时间：2023-02-19 12:55

　　近年来,随着视频监控网络的大规模建设和移动终端设备的加速普及,图像和视频数据呈现爆炸式增长。由于分析技术的缺乏,大量视觉数据成为“沉睡”在存储系统中的无用垃圾数据。为提高海量图像和视频的有用性,迫切需要研究图像与视频数据自动化分析与理解技术。自2012年以来深度学习极大推动了计算机视觉的发展,让许多视觉技术逐渐走向应用。然而现有方法往往只能针对简单化、低层次的视觉理解任务取得较好的效果,这极大限制了计算机视觉的进一步发展和应用。本文面向视频和图像分析需求,提出渐进学习的思想,重点探讨如何实现更高层次、更精细的视觉内容理解。从研究内容角度,本文关注更加精细的视觉理解任务,包括实例级别理解(instance-level understanding)、细粒度类别理解(fine-grained categorization)以及像素级别理解(pixel-level understanding)。从研究方法角度,本文提出渐进学习的思想,将单一模型难以捕获的细节内容和精细语义信息拆分到多个渐进阶段,并基于该思想提出一系列渐进模型以适应不同级别的精细视觉理解任务。本文的主要工作与创新如下:(1)本文...

【文章页数】：140 页

【学位级别】：博士

【文章目录】：
摘要
abstract
主要符号对照表
第一章 绪论
    1.1 课题的研究背景和意义
    1.2 深度学习研究现状及挑战
    1.3 本文的研究动机及内容
    1.4 本文的章节安排和创新点
第二章 深度渐进学习概述
    2.1 研究背景
    2.2 深度学习基本原理
        2.2.1 卷积神经网络
        2.2.2 循环神经网络
    2.3 深度渐进学习
        2.3.1 深度渐进学习的三大特征
        2.3.2 深度渐进学习研究方法
        2.3.3 深度渐进学习与现有学习方法的关系
    2.4 本章小结
第三章 时序渐进模型与视频行人重识别算法
    3.1 引言
    3.2 国内外相关工作
    3.3 研究动机
    3.4 时序渐进模型
        3.4.1 图像特征表示
        3.4.2 渐进特征融合网络
        3.4.3 损失函数与网络训练
        3.4.4 实现细节
    3.5 实验结果
        3.5.1 时序渐进模型的精细性和伸缩性分析
        3.5.2 时序渐进模型的数据敏感性分析
        3.5.3 特征融合网络的鲁棒性分析
        3.5.4 与现有方法的比较
        3.5.5 收敛性分析
        3.5.6 结果示例
    3.6 本章小结
第四章 空间渐进学习与细粒度图像识别算法
    4.1 引言
    4.2 相关工作
    4.3 动机
    4.4 空间渐进模型
        4.4.1 循环视觉注意力网络
        4.4.2 空间位置渐进模型
        4.4.3 空间尺度渐进模型
        4.4.4 特征融合网络
        4.4.5 模型结构和实现细节
    4.5 实验结果与评价
        4.5.1 数据集与实验设置
        4.5.2 注意力网络的有效性
        4.5.3 特征融合网络的有效性
        4.5.4 与其他方法的比较
    4.6 本章小结
第五章 交互渐进学习与行为预测算法
    5.1 引言
    5.2 相关工作
        5.2.1 传统方法
        5.2.2 深度方法
    5.3 研究动机
        5.3.1 整体LRCN模型
        5.3.2 个体LRCN模型
    5.4 交互渐进模型
        5.4.1 个体信息耦合网络
        5.4.2 整体-个体信息耦合模型
        5.4.3 相互注意力模型
        5.4.4 网络训练
        5.4.5 模型细节
    5.5 实验结果
        5.5.1 数据集与实验设置
        5.5.2 在UTI上的实验结果
        5.5.3 在BIT上的实验结果
        5.5.4 渐进框架性质研究
        5.5.5 结果可视化
    5.6 本章小结
第六章 模态渐进学习与视频动作生成算法
    6.1 引言
    6.2 相关工作
        6.2.1 人体运动分析
        6.2.2 图像生成
        6.2.3 视频生成
    6.3 动机
    6.4 模态渐进模型
        6.4.1 对抗生成网络
        6.4.2 基于运动条件的关键点序列生成网络
        6.4.3 基于音频条件的关键点序列生成网络
        6.4.4 外观一致性运动生成网络
        6.4.5 实现细节
    6.5 刚体运动生成
        6.5.1 数据库和测试标准
        6.5.2 实验结果
    6.6 非刚体运动生成
        6.6.1 数据集
        6.6.2 结果比较
        6.6.3 各部件的有效性分析
        6.6.4 与其他基于关键点的模型的比较
    6.7 群体交互运动生成
        6.7.1 数据库
        6.7.2 实验结果
    6.8 本章小结
第七章 总结与展望
    7.1 论文工作总结
    7.2 未来研究展望
参考文献
致谢
攻读学位期间发表或已接收的学术论文



本文编号：3746261