基于特征光流的视频中物体检测
发布时间：2021-10-11 12:06
物体检测是通过算法从拍摄的图像或视频中检测出物体位置和类别。作为计算机视觉领域最基础的问题之一,物体检测具有重要的研究意义和广泛的实际应用价值。针对视频的物体检测要求实时精确地输出视频中每一帧内物体位置和类别。现有的视频检测算法需要手工设计规则,在检测速度和检测准确率方面面临着巨大的挑战。针对上述问题,论文提出了一种基于特征光流的视频物体检测框架,利用特征光流刻画邻近帧在特征层面发生的相对运动,并通过端到端的训练自动抽取所需特征层面时域信息,从而实现了快速、准确的视频中物体检测。论文的主要研究工作和贡献如下:·提出了一种基于特征传播的高速视频物体检测算法。算法在稀疏关键帧上进行耗时的特征提取,并依据特征光流将关键帧的特征传播到其他帧。传播后特征图直接经由检测子网络输出检测结果。对比逐帧图像物体检测,所提出算法可以保证检测准确率并有效提升检测速度。·提出了一种基于特征融合的高准确率视频物体检测算法。算法沿物体的运动轨迹融合邻近帧的特征图以增强当前帧特征表示。融合后特征图经由检测子网络输出检测结果。所提出方法避免手工设计多帧融合规则并有效地提升了检测准确率。·提出了一种基于递归特征融合与自...
【文章来源】：中国科学技术大学安徽省 211工程院校 985工程院校
【文章页数】：127 页
【学位级别】：博士
【文章目录】：
摘要
ABSTRACT
第1章 绪论
1.1 研究背景及意义
1.2 视频中物体检测的评价指标
1.3 图像中物体检测的研究现状
1.3.1 单阶段图像物体检测算法
1.3.2 双阶段图像物体检测算法
1.3.3 检测速度与检测准确率的均衡
1.4 视频中物体检测的研究现状
1.4.1 将图像中物体检测应用于视频领域
1.4.2 视频中物体检测算法现状
1.5 建模视频内时域上下文信息
1.5.1 基于光流的运动估计
1.5.2 视频物体跟踪
1.5.3 视频特征跟踪
1.5.4 基于注意力机制的特征融合
1.6 论文研究内容和组织结构
第2章 基于特征传播的高速视频中物体检测
2.1 提升视频物体检测速度
2.1.1 研究目标
2.1.2 核心思想和技术难点
2.2 基于特征传播的视频物体检测
2.2.1 特征光流与特征传播
2.2.2 测试算法
2.2.3 训练策略
2.2.4 算法复杂度分析
2.3 网络结构
2.3.1 特征光流估计网络
2.3.2 特征提取子网络
2.3.3 物体检测子网络
2.3.4 语义分割子网络
2.4 实验结果
2.4.1 实验配置
2.4.2 验证基于特征传播的视频物体检测/语义分割
2.4.3 速度与准确率均衡
2.4.4 特征提取子网络与识别子网络的划分
2.4.5 视频物体检测和语义分割结果可视化
2.5 小结与讨论
第3章 基于特征融合的高准确率视频中物体检测
3.1 提升视频物体检测准确率
3.1.1 研究目标
3.1.2 核心思想和技术难点
3.2 基于特征融合的视频物体检测
3.2.1 模型设计
3.2.2 测试算法
3.2.3 训练策略
3.2.4 算法复杂度分析
3.3 网络结构
3.3.1 特征光流估计网络
3.3.2 特征提取子网络
3.3.3 特征融合中特征变换子网络
3.3.4 物体检测子网络
3.4 实验结果
3.4.1 实验配置
3.4.2 慢速、中速和快速运动物体
3.4.3 验证基于特征融合的视频物体检测
3.4.4 对比复合相邻帧特征光流
3.4.5 训练和测试中特征融合的邻近帧数量
3.4.6 结合后处理方法
3.5 特征融合中自适应权重的实证性分析
3.5.1 Transformer注意力模块
3.5.2 带开关的Transformer自适应权重
3.5.3 实验配置
3.5.4 自适应权重分量对性能的影响
3.5.5 应用于视频中物体检测
3.6 小结与讨论
第4章 基于递归特征融合与自适应特征提取的高速高准确率视频中物体检测
4.1 从图像到视频中物体检测
4.1.1 回顾基于特征传播的视频物体检测
4.1.2 回顾基于特征融合的视频物体检测
4.2 高速高准确率的视频中物体检测
4.2.1 研究目标
4.2.2 核心思想和技术难点
4.3 基于递归特征融合与自适应特征提取的视频物体检测
4.3.1 (c1)稀疏关键帧的递归特征融合
4.3.2 (c2)非关键帧的局部特征提取
4.3.3 (c3)时域自适应的关键帧策略
4.3.4 统一视角下基于特征光流的视频物体检测
4.3.5 测试算法
4.3.6 训练策略
4.4 实验结果
4.4.1 实验配置
4.4.2 统一视角下评测基于特征光流的视频物体检测
4.4.3 分析基于递归特征融合与自适应特征提取的视频物体检测
4.4.4 对比最先进的视频物体检测方法
4.5 拓展到资源受限的移动设备
4.5.1 网络结构
4.5.2 移动设备上的高速高准确率视频物体检测
4.5.3 对比最先进的轻量级物体检测算法
4.6 小结与讨论
第5章 总结与展望
参考文献
致谢
在读期间发表的学术论文与取得的研究成果
本文编号：3430477
【文章来源】：中国科学技术大学安徽省 211工程院校 985工程院校
【文章页数】：127 页
【学位级别】：博士
【文章目录】：
摘要
ABSTRACT
第1章 绪论
1.1 研究背景及意义
1.2 视频中物体检测的评价指标
1.3 图像中物体检测的研究现状
1.3.1 单阶段图像物体检测算法
1.3.2 双阶段图像物体检测算法
1.3.3 检测速度与检测准确率的均衡
1.4 视频中物体检测的研究现状
1.4.1 将图像中物体检测应用于视频领域
1.4.2 视频中物体检测算法现状
1.5 建模视频内时域上下文信息
1.5.1 基于光流的运动估计
1.5.2 视频物体跟踪
1.5.3 视频特征跟踪
1.5.4 基于注意力机制的特征融合
1.6 论文研究内容和组织结构
第2章 基于特征传播的高速视频中物体检测
2.1 提升视频物体检测速度
2.1.1 研究目标
2.1.2 核心思想和技术难点
2.2 基于特征传播的视频物体检测
2.2.1 特征光流与特征传播
2.2.2 测试算法
2.2.3 训练策略
2.2.4 算法复杂度分析
2.3 网络结构
2.3.1 特征光流估计网络
2.3.2 特征提取子网络
2.3.3 物体检测子网络
2.3.4 语义分割子网络
2.4 实验结果
2.4.1 实验配置
2.4.2 验证基于特征传播的视频物体检测/语义分割
2.4.3 速度与准确率均衡
2.4.4 特征提取子网络与识别子网络的划分
2.4.5 视频物体检测和语义分割结果可视化
2.5 小结与讨论
第3章 基于特征融合的高准确率视频中物体检测
3.1 提升视频物体检测准确率
3.1.1 研究目标
3.1.2 核心思想和技术难点
3.2 基于特征融合的视频物体检测
3.2.1 模型设计
3.2.2 测试算法
3.2.3 训练策略
3.2.4 算法复杂度分析
3.3 网络结构
3.3.1 特征光流估计网络
3.3.2 特征提取子网络
3.3.3 特征融合中特征变换子网络
3.3.4 物体检测子网络
3.4 实验结果
3.4.1 实验配置
3.4.2 慢速、中速和快速运动物体
3.4.3 验证基于特征融合的视频物体检测
3.4.4 对比复合相邻帧特征光流
3.4.5 训练和测试中特征融合的邻近帧数量
3.4.6 结合后处理方法
3.5 特征融合中自适应权重的实证性分析
3.5.1 Transformer注意力模块
3.5.2 带开关的Transformer自适应权重
3.5.3 实验配置
3.5.4 自适应权重分量对性能的影响
3.5.5 应用于视频中物体检测
3.6 小结与讨论
第4章 基于递归特征融合与自适应特征提取的高速高准确率视频中物体检测
4.1 从图像到视频中物体检测
4.1.1 回顾基于特征传播的视频物体检测
4.1.2 回顾基于特征融合的视频物体检测
4.2 高速高准确率的视频中物体检测
4.2.1 研究目标
4.2.2 核心思想和技术难点
4.3 基于递归特征融合与自适应特征提取的视频物体检测
4.3.1 (c1)稀疏关键帧的递归特征融合
4.3.2 (c2)非关键帧的局部特征提取
4.3.3 (c3)时域自适应的关键帧策略
4.3.4 统一视角下基于特征光流的视频物体检测
4.3.5 测试算法
4.3.6 训练策略
4.4 实验结果
4.4.1 实验配置
4.4.2 统一视角下评测基于特征光流的视频物体检测
4.4.3 分析基于递归特征融合与自适应特征提取的视频物体检测
4.4.4 对比最先进的视频物体检测方法
4.5 拓展到资源受限的移动设备
4.5.1 网络结构
4.5.2 移动设备上的高速高准确率视频物体检测
4.5.3 对比最先进的轻量级物体检测算法
4.6 小结与讨论
第5章 总结与展望
参考文献
致谢
在读期间发表的学术论文与取得的研究成果
本文编号：3430477
本文链接：https://www.wllwen.com/shoufeilunwen/xxkjbs/3430477.html
