序列图像光流计算关键技术研究及其在三维重建中的应用

发布时间：2017-05-13 02:11

  本文关键词：序列图像光流计算关键技术研究及其在三维重建中的应用，由笔耕文化传播整理发布。

【摘要】：光流描述了可由视觉感知的运动,被广泛的应用于机器人自动导航、无人汽车辅助驾驶、人脸表情动态跟踪等领域,是进行目标运动分析与理解的重要手段,一直是计算机运动视觉及相关领域的重要研究内容。经过近30年的发展,光流算法的很多基础问题得到解决,应用环境由最初实验室内理想光照条件、人工布置目标,逐步向室外未知环境、未知目标扩展。应用环境的扩展意味着光流算法越来越多的应用于实际工程。与此同时,应用环境与目标的未知性都对已有的光流算法提出了新的挑战,如光照随机变化、小目标高速运动产生大位移、目标物之间的相互遮挡、光流计算正确性的自评估与自校正等。本论文针对光流计算关键技术及在三维重建中的应用展开研究,着重研究了不同光照条件下光流自适应算法、光流计算误差的自评估与自校验算法、三维重建中高精度匹配方法与冗余点删除问题。主要工作如下：(1)由于实际场景中光照变化的必然性与随机性,光流算法必须能对光照变化自适应。以光照模型和相机成像模型为依据,分析了实际图像采集过程中影响光照变化的因素,将光照变化分为两类：一类是由进入CCD (Charge Coupled Device)光辐照度产生突变而引起的光照变化；另一类是由物体与相机相对运动占主导而产生的光照变化。通过两帧图像灰度直方图分布差异确定当前图像的光照变化类型。如果是第一类光照变化,采用改进的Census变换作为光流模型的数据项。与传统的Census变换相比,改进的Census变换包含了中心像素和邻域像素完整的灰度相对大小信息,在保持抗光照单调变化能力的同时,不同的图像子块间具有更强的分辨力。如果是第二类光照变化,则以改进的Census变换和纹理特征的加权和作为光流模型的数据项,通过均值场近似理论求解每个像素对应的不变量权值。相比于多个数据项分量固定权重模型,所提出的自适应权重模型与像平面不同区域亮度变化规律更吻合。以Middlebury和KITTI数据库中图像为测试样本验证了所提算法的有效性。(2)光流算法应用于实际工程时,需要保证输出结果具有一定的精度。当前,各大标准数据库对光流算法精度的评估均是通过和真实光流进行对比。然而,在实际工程中,场景和目标的真实光流是未知的。因此,光流计算精度的自评估和自校正是光流算法胜任未知环境视觉任务的先决条件。针对此,根据两帧图像中匹配点与光流值等价的原则,提出一种基于离散可信匹配点的光流校正和误差评估方法。首先,采用图像分割算法将图像分割为不同的区域。接着,在像平面内检测可信匹配点,以此匹配点为种子点,对其邻域点进行光流误差评估与校正。所提算法的关键点是确定数量多、分布广、精度高的可信匹配点与设计有效的校正方法。①为得到数量多、精度高的匹配点,提出了利用两帧图像空间几何关系的双阈值SIFT (Scale Invariant Featuretransform)匹配算法。首先,在低阈值下,得到精度高的匹配点,并用这些点计算两视图的对极几何关系与空间拓扑结构关系；再以此关系为约束去除高阈值下精度低的匹配点。②为得到分布广的匹配点,提出基于HOG特征与空间几何约束的区域匹配算法。以第1帧图像上每个区域的内接四边形为模板,在第2帧图像上搜索与之匹配的区域。为减小搜索范围,设计了极线约束和邻域方向约束。为避免灰度变化平缓区域匹配误差大而给校正带来误差,设计了测度灰度变化算子,仅对满足一定条件的区域计算对应的匹配区域。③为保证校正的有效性,提出了非运动、遮挡边界光流平滑过渡判定准则,并对校正后的光流值施加极线约束,进行二次判定。以KITTI数据库图像为测试样本,实验结果如下：KITTI数据库194组图像,光流误差平均降低7.04%,最大可降低31.25%,该结果证实了所提算法的有效性。(3)将光流算法应用于序列图像场景稠密三维重建。针对三维重建中误匹配问题,提出一种两步匹配算法。首先以光流算法计算两个视图的初始匹配点,然后用三视图几何约束去除误匹配点。针对多视图三维重建过程中,随着重建视图的增加,三维冗余点不断增加的现象,利用多视图几何关系自动判断当前重建的点云在之前的视图中是否被重建。如果已被重建,则在两次重建的点云中保留反投影残差较小的点；如果未被重建,则直接保留。所提出的算法不仅能降低整体数据量,同时可提高点云整体精度,不丢失被测量物体曲率较大处表面细节信息,且同样适用于主动三维重建系统冗余点删除。用多视图立体重建数据库中temple图像、以及结构光三维重建系统验证了所提算法的有效性。
【关键词】：光流计算 光照变化 改进census变换 光流误差校正 三维重建
【学位授予单位】：西南交通大学
【学位级别】：博士
【学位授予年份】：2015
【分类号】：TP391.41
【目录】：

• 摘要6-8
• Abstract8-14
• 第1章 绪论14-26
• 1.1 研究背景与意义14-19
• 1.1.1 光流定义及相关概念14-15
• 1.1.2 光流计算研究意义15-19
• 1.2 研究进展与现状19-24
• 1.2.1 光流计算研究进展19-21
• 1.2.2 光流计算尚未解决的典型问题21-24
• 1.3 本文研究内容与结构安排24-25
• 1.4 本章小结25-26
• 第2章 微分光流计算26-44
• 2.1 微分光流基本约束方程26-27
• 2.2 局部光流计算方法27-29
• 2.2.1 LK方法27-28
• 2.2.2 其他方法28-29
• 2.3 全局计算方法29-36
• 2.3.1 全局光流中的数据项29-31
• 2.3.2 全局光流中的平滑项31-35
• 2.3.3 数据项和平滑项之间的权重35
• 2.3.4 罚函数35-36
• 2.4 局部和全局相结合的方法36-37
• 2.5 光流模型的求解方法37-40
• 2.5.1 基于金字塔分解的分层求解策略37
• 2.5.2 基于拉格朗日方程的光流求解方法37-38
• 2.5.3 基于迭代最小二乘的光流求解方法38-40
• 2.6 光流场的表示与精度评价40-43
• 2.6.1 光流场表示方法40-41
• 2.6.2 光流场精度评价41-42
• 2.6.3 光流测试数据库42-43
• 2.7 本章小结43-44
• 第3章 光照变化条件下光流自适应算法44-71
• 3.1 引言44-45
• 3.2 光照变化类型分类45-53
• 3.2.1 光照模型45-47
• 3.2.2 数字相机成像模型47-48
• 3.2.3 光照变化因素分析与光照分类48-51
• 3.2.4 基于直方图分布差异的光照类型判别准则51-53
• 3.3 自适应光照变化的光流计算总体框架53-54
• 3.4 基于改进Census变换的光照单调变化光流计算54-63
• 3.4.1 传统Census变换54-56
• 3.4.2 改进的完备Census变换56-60
• 3.4.3 基于改进完备Census变换的光流模型60
• 3.4.4 光流求解60-61
• 3.4.5 实验与结果61-63
• 3.5 基于纹理和改进Census变换自适应权重的随机光照变化光流计算63-70
• 3.5.1 图像纹理提取63-64
• 3.5.2 光流模型64-65
• 3.5.3 数据项不同分量自适应权重计算65-66
• 3.5.4 光流求解66-67
• 3.5.5 实验与结果67-70
• 3.6 本章小结70-71
• 第4章 基于离散可信匹配点的光流误差评估与校正算法71-93
• 4.1 引言71
• 4.2 光流误差评估与校正算法71-73
• 4.2.1 算法总体框架72-73
• 4.3 关键技术73-89
• 4.3.1 图像超像素分割73-75
• 4.3.2 基于双阈值和空间几何约束的特征点匹配75-82
• 4.3.3 基于HOG特征和空间几何约束的区域匹配82-86
• 4.3.4 光流误差评估与校正准则86-89
• 4.4 完整的算法步骤89-90
• 4.5 实验与结果90-92
• 4.5.1 光流误差评估实验与结果90-91
• 4.5.2 光流误差校正实验与结果91-92
• 4.6 本章小结92-93
• 第5章 基于光流和多视图约束的稠密三维重建93-108
• 5.1 引言93-94
• 5.2 基于光流和三视图约束的三维重建算法94-100
• 5.2.1 多相机高精度标定95-96
• 5.2.2 光流与匹配96
• 5.2.3 三视图约束原理96-97
• 5.2.4 算法步骤97-98
• 5.2.5 实验与结果98-100
• 5.3 多视图重建过程中重叠点去除算法100-107
• 5.3.1 重叠区域的判定101-102
• 5.3.2 重叠部分三维坐标求解102-103
• 5.3.3 算法特点103
• 5.3.4 实验与结果103-107
• 5.4 本章小结107-108
• 总结与展望108-110
• 致谢110-111
• 附录111-124
• 参考文献124-131
• 攻读博士学位期间发表的论文及科研成果131-132

【相似文献】

中国期刊全文数据库 前10条

1 范勇,游志胜,张建州,郑文琛,冯子亮,王荣;基于残差平方和的光流场正则化方法[J];光电工程;2001年06期

2 张建明,钱东海;一种局部和全局相结合的光流计算方法[J];计算机工程与科学;2005年05期

3 武理静;明军;;一种改进的光流估计方法[J];国外电子测量技术;2006年12期

4 李伟;沈振康;;基于鲁棒特征的光流研究[J];红外与激光工程;2007年S2期

5 关键;段慧;李茂宽;;几何代数域内的光流场改进算法[J];海军航空工程学院学报;2008年01期

6 项学智;赵春晖;李康;;一种彩色光流场估计算法[J];哈尔滨工程大学学报;2008年06期

7 韩玉兵;束锋;芮义斌;李鹏;;基于本征和非本征正则项的光流估计[J];信号处理;2008年04期

8 陈勇;屠大维;周许超;赵其杰;;基于光流分析的车辆转弯及上下坡信息获取[J];合肥工业大学学报(自然科学版);2009年11期

9 于晶晶;潘振宽;魏伟波;;小位移光流计算的对偶方法[J];计算机工程;2010年07期

10 齐蕴光;安钢;曹艳华;;一种改进的全局光流估计方法[J];计算机科学;2012年S1期

中国重要会议论文全文数据库 前10条

1 曾雪莲;尚斐;;基于微分法的光流计算技术研究[A];第六届全国信息获取与处理学术会议论文集（1）[C];2008年

2 李俊;张桂林;;一种计算光流场的新方法[A];1998年中国智能自动化学术会议论文集（下册）[C];1998年

3 佘永业;李熙莹;赵有婷;;一种车辆的宏观光流速度的计算方法[A];图像图形技术研究与应用2009——第四届图像图形技术与应用学术会议论文集[C];2009年

4 卢宗庆;谢维信;裴继红;;基于非线性滤波的光流计算[A];第十三届全国信号处理学术年会（CCSP-2007）论文集[C];2007年

5 谢剑斌;王晖;刘通;李沛秦;;基于多重网格的光流场快速计算方法[A];第六届全国信息获取与处理学术会议论文集（2）[C];2008年

6 张\，

本文编号：361363