单目图像的深度估计

发布时间：2017-08-06 17:27

  本文关键词：单目图像的深度估计

  更多相关文章： 深度估计 全局运动估计 度量学习 深度学习 卷积神经网络 条件随机场

【摘要】：从图像中恢复出场景的三维结构是计算机视觉领域中一个非常基本的问题。如果能够准确地估计出场景的三维结构,我们就能够了解图像中物体之间的三维关系,从而更好地进行场景理解。这将极大促进计算机视觉领域多种应用的发展,如机器人导航、视频监控以及2D转3D等。基于上述研究背景,本学位论文主要研究如何从单目图像中进行深度估计,包括摄像机运动下的前景背景深度估计以及基于机器学习的深度估计等,有效地解决了目前的深度估计算法中面临的算法适用性、三维结构相似性度量、特征选择、深度平滑性等问题,从而大大提高了深度估计的精度。总体而言,本论文的主要贡献如下：(1)提出了一个从视频序列中进行深度估计的算法。针对现有深度估计算法大多受限于特定场景的问题,我们在综合现有的方法的基础上,提出了一个适用于摄像机任意状态的前景背景深度估计的算法框架,无论当摄像机处于运动状态还是静止状态,该框架可以有效地从视频序列中估计出前景和背景的深度；特别针对摄像机处于复杂运动时的运动物体提取问题,提出了一种基于有效的外点去除的全局运动估计算法,提高了运动物体提取的精度,保证了恢复的深度图中具有较为完整的运动物体的轮廓。(2)提出了一个基于度量学习的深度估计算法。针对深度采样方法中三维结构相似性的度量问题,提出了利用学习的马氏距离代替传统的欧式距离来度量三维结构的相似性,有效地提高了深度采样算法的效果。并构造了关于马氏距离度量中参数矩阵的损失函数,通过生成的反映图像之间三维结构相似性的数据库实现了对这个损失函数的优化。此外,针对传统的深度融合方法速率较慢的问题,我们还提出了一个基于高斯加权的快速深度融合方法。(3)提出了两个基于深度学习的深度估计算法。首先,针对特征选择的问题,我们提出利用深度卷积神经网络建立原始图像与深度值之间的关系,实现了对反映深度信息的特征的学习,解决了传统人工设计的底层特征的二义性问题。同时,提出的基于全图卷积的深度估计方式,进一步降低了算法的运行时间。在此基础上,针对深度平滑性的问题,又提出了联合卷积神经网络和条件随机场的模型,通过这个联合的模型建立了原始图像与深度以及深度与深度之间的关联,并利用条件随机场的损失函数实现了该深度模型的优化。该方法生成的深度图中具有更清晰的物体轮廓,同时达到了深度准确性和平滑性的目的。与以往的方法相比,这两种基于深度学习的深度估计方法均不需要任何人工设计的特征,也不需要引入场景的几何约束或者语义信息,因此具有更强的适用性。
【关键词】：深度估计 全局运动估计 度量学习 深度学习 卷积神经网络 条件随机场
【学位授予单位】：北京邮电大学
【学位级别】：博士
【学位授予年份】：2015
【分类号】：TP391.41
【目录】：

• 摘要4-6
• 英文摘要6-8
• 缩略语表8-12
• 第一章 绪论12-30
• 1.1 研究背景12-13
• 1.2 国内外研究现状13-19
• 1.2.1 基于深度线索方法的研究现状14-16
• 1.2.2 基于机器学习方法的研究现状16-19
• 1.3 本文的研究内容和主要贡献19-21
• 1.4 本文的组织结构21
• 参考文献21-30
• 第二章 经典的深度估计算法30-52
• 2.1 深度的表示方法30-32
• 2.2 基于深度线索的深度估计算法32-37
• 2.2.1 基于线性透视的深度估计算法32-34
• 2.2.2 基于物体运动的深度估计算法34-37
• 2.3 基于图模型的深度估计算法37-42
• 2.3.1 特征的表示37-38
• 2.3.2 图模型的建立38-42
• 2.4 基于深度信息采样的深度估计算法42-47
• 2.4.1 算法基本框架42-43
• 2.4.2 kNN检索43-44
• 2.4.3 场景对齐44
• 2.4.4 深度融合44-47
• 2.5 评价标准47-48
• 2.5.1 标准测试数据库47-48
• 2.5.2 评测方法48
• 2.6 本章小结48-49
• 参考文献49-52
• 第三章 摄像机运动下的前景背景深度估计算法52-76
• 3.1 引言52-53
• 3.2 算法框架53-56
• 3.2.1 背景深度的生成54-55
• 3.2.2 摄像机的运动分析55-56
• 3.2.3 基于背景建模的运动物体提取56
• 3.3 改进的全局运动估计算法56-63
• 3.3.1 GME模型57-58
• 3.3.2 像素点的选取58-59
• 3.3.3 外点去除59-61
• 3.3.4 金字塔式的参数优化61-62
• 3.3.5 基于GME算法的运动物体提取62-63
• 3.4 深度融合63
• 3.5 实验结果分析63-71
• 3.5.1 改进的GME算法的性能分析63-68
• 3.5.2 深度估计算法的结果分析68-71
• 3.6 本章小结71-72
• 参考文献72-76
• 第四章 基于度量学习的深度估计算法76-92
• 4.1 引言76-77
• 4.2 度量学习77-78
• 4.3 基于度量学习的深度采样算法78-83
• 4.3.1 三维空间里的马氏距离度量78-79
• 4.3.2 损失函数的构建79-82
• 4.3.3 模型的训练82-83
• 4.3.4 基于马氏距离的深度采样83
• 4.4 基于高斯加权的深度融合算法83-84
• 4.5 实验结果分析84-89
• 4.5.1 训练数据可视化84-85
• 4.5.2 参数设置85
• 4.5.3 马氏距离vs欧式距离85-88
• 4.5.4 高斯加权融合vs能量最小融合88-89
• 4.6 本章小结89-90
• 参考文献90-92
• 第五章 基于深度学习的场景深度估计算法92-120
• 5.1 引言92-93
• 5.2 深度学习93-97
• 5.3 基于深度卷积神经网络的深度估计算法97-105
• 5.3.1 算法框架97-98
• 5.3.2 深度卷积神经网络模型98-100
• 5.3.3 快速深度估计算法100-101
• 5.3.4 实验结果分析101-105
• 5.4 基于深度卷积条件随机场网络的深度估计算法105-115
• 5.4.1 连续条件随机场模型106-108
• 5.4.2 卷积条件随机场网络108-109
• 5.4.3 模型的训练与预测109-112
• 5.4.4 实验结果分析112-115
• 5.5 本章小结115-116
• 参考文献116-120
• 第六章 总结与展望120-122
• 6.1 本文的工作总结120-121
• 6.2 未来的工作展望121-122
• 致谢122-124
• 攻读博士学位期间的研究成果124

【共引文献】

中国期刊全文数据库 前10条

1 王诤,傅立言,余松煜;MDL准则用于散焦图像复原[J];电子技术应用;1999年05期

2 裴锡宇,冯华君,李奇,徐之海;一种基于频谱分析的离焦深度自动对焦法[J];光电工程;2003年05期

3 祝世平,强锡富;用于摄像机定位的单目视觉方法研究[J];光学学报;2001年03期

4 黄艳;徐巧玉;叶东;车仁生;;基于微分图像自相关的自动对焦法[J];光学学报;2010年12期

5 李奇,徐之海,冯华君,戴顺林,边美娟;数字成象系统自动对焦区域设计[J];光子学报;2002年01期

6 张法全;路立平;沈满德;陈良益;崔光照;;单目视觉目标距离测量方法研究[J];光子学报;2009年02期

7 沈壁川;吴艳;;人脸检测中盲解卷积的点传输函数和光学传输函数分析[J];光子学报;2010年09期

8 郭力滔;高天元;孙景睿;王小龙;;卡塞格林式星敏感器杂散光分析[J];长春理工大学学报(自然科学版);2015年02期

9 马丽娜;宗肖颖;李永强;;基于图像频谱的定焦分析[J];光学学报;2015年07期

10 章权兵;张爱明;;基于相对模糊和边缘强化的散焦深度恢复研究[J];华南理工大学学报(自然科学版);2010年04期

中国博士学位论文全文数据库 前10条

1 董杰;基于单目视觉的散焦测距算法的研究[D];中国海洋大学;2010年

2 王鑫;数字图像盲取证技术研究[D];解放军信息工程大学;2009年

3 于秋水;基于图像处理方法的光学瞄具自动调焦技术研究[D];长春理工大学;2011年

4 张卓筠;自由立体深度信息挖掘与评价算法研究[D];天津大学;2010年

5 李奇;数字自动对焦技术的理论及实现方法研究[D];浙江大学;2004年

6 王华;高密度全场主动离焦三维测量方法的研究[D];四川大学;2004年

7 胡涛;机器视觉中的自动调焦及形貌恢复技术研究[D];哈尔滨工业大学;2007年

8 杨俊;图像数据的视觉显著性检测技术及其应用[D];国防科学技术大学;2007年

9 邸慧;靶场图像预处理和目标运动单像机测量方法研究[D];国防科学技术大学;2007年

10 付小宁;红外单站被动定位技术研究[D];西安电子科技大学;2005年

中国硕士学位论文全文数据库 前10条

1 彭方;基于DSP的自动对焦算法研究[D];西安电子科技大学;2011年

2 陆燕慧;管道容器损伤图像的分割和深度提取技术的研究及应用[D];西安电子科技大学;2009年

3 王剑华;基于嵌入式Linux的数字自动对焦系统研究[D];华南理工大学;2011年

4 于洋;高能束快速制造中计算机视觉技术应用的研究[D];华中科技大学;2011年

5 孟希羲;基于图像配准的空间相机自动对焦[D];浙江大学;2012年

6 裴锡宇;自动对焦技术及其工程应用的研究[D];浙江大学;2004年

7 钟孟儿;基于离焦深度的光学投影系统调整方法和实验研究[D];浙江大学;2005年

8 刘义鹏;显微镜自动对焦系统设计与应用[D];浙江大学;2005年

9 徐培凤;基于图像处理的自动对焦和自动曝光算法研究[D];江苏大学;2005年

10 李峰;数字图像质量检测技术的研究与实现[D];江苏大学;2005年

，

本文编号：630793