基于轮廓特征理解的城市道路图像深度估计35

发布时间：2016-10-08 12:17

本文关键词：基于轮廓特征理解的城市道路图像深度估计，由笔耕文化传播整理发布。

对区域的轮廓Ci中的任意两条直线lk和lr,根据；出的方法，，利用主方向一致性判别两条直线是否为平行；3.2道路消失点估计；统计所有区域特征向量中的道路平行线特征Pli，组；，y?aix?bi(4)；对li上所有坐标点应用最小二乘法进行直线拟合，即；min?(yj-(aixj?bi))2；j?1n(5)；确定参数ai,bi；?yi?aix?b(6)?y?ax?

对区域的轮廓Ci中的任意两条直线lk和 lr,根据本文作者在文献[20]所提

出的方法，利用主方向一致性判别两条直线是否为平行线，即假设直线lk的主方向为?k，直线lr的主方向为?r，如果?k??r??（本文定义??15），且lk?Vli,lr?Vli，则判定lk和 lr属于与道路方向平行的平行线，同时存入Pli。

3.2 道路消失点估计

统计所有区域特征向量中的道路平行线特征Pli，组成平行直线束l1,l2,...,lp定义任意直线li的直线方程为：

，y?aix?bi (4)

对li上所有坐标点应用最小二乘法进行直线拟合，即求拟合直线误差最小值：

min?(yj-(aixj?bi))2

j?1n (5)

确定参数ai,bi。然后通过联立任意两条拟合直线求解交点：

?yi?aix?b (6) ?y?ax?bj?j

2得到至多Cn个交点，即消失点集。最后采用模糊C聚类方法对求解所得的交点

进行聚类分析，在2个聚类结果中选取聚类分组中对应最多类成员的中心作为最终的消失点，记为Vr?{xi,yi}。

4 道路图像三维结构推理与深度估计

4.1位置关系推理

根据道路场景的特征，本文假设道路图像满足以下三个条件：

（1）图像为摄像机平行于地面，即摄像机俯仰角为0时所拍摄；

（2）图像中包括较多平行、垂直结构。

（3）图像中仅包括道路、竖直物体（建筑物/树木/栏杆/车辆等）和天空。根据以上假设，根据平行线计算的道路消失点必位于地平面上，本文根据消失点位置将图像大致分割为上下两部分，其中道路位于图像下部分区域，天空位于上部分区域，建立如图2所示的道路位置模型：

图2 道路位置模型

Fig.2 Ground position model

（1）道路区域推理

一般情况下，道路区域面积较大、颜色单一，包含较多的平行线以及较少的竖直线，且整体位于消失线下方。本文的道路图像分割的结果已经保证了每一个分割的区域内部颜色的相似性，以及与相邻区域的颜色相异性，因此本文仅考虑面积较大的前10个区域，如果这些区域中，任意区域?i满足以下判据：

判据 1 ①区域?i中包含至少一条经过消失点的直线，即

Nli?Vr?? （7）

②轮廓Ci的重心位于由消失点分割的整幅图像的下半部分，即

Pi(yi)?Vr(yi) （8）

③轮廓Ci包含的垂直线的数量为0，则判定该区域为道路区域。

判据2 对于面积较大的前10个区域，记所有满足判据1中条件①和②，但不满足条件③的区域为?R，利用腐蚀算法将区域?R腐蚀为如干个子区域，对于任意子

区域?k，如果区域?k满足判据1中条件②，且区域?k包含的平行线的数量不小

于区域?k包含的垂直线的数量，则判定该区域为道路区域。

（2）天空区域推理

根据假设的道路位置模型，天空区域是距离摄像机最远，区域面积较大，且通常有部分像素位于图像的上边界，颜色分布比较一致。综合这些先验知识，本文仅考虑面积较大的前10个区域，如果这些区域中，任意区域?i满足以下条件

①区域?i归一化颜色值Hi与天空典型颜色差值小于设定阈值T；

②轮廓Ci的纵坐标的最高点位于图像的上边界，即

min(Ci.yi)??1 （9）

则判定该区域属于天空。

（3）竖直区域推理

整幅图像中除道路和天空区域之外剩余的区域定义为竖直区域。

4.2深度估计

对已完成位置关系推理的图像区域，本文根据深度变化规则为图像各像素分配对应的深度值完成深度估计。用0-255的灰度范围量化灰度深度变化图，定义图像深度最远处为0，最近处为255，中间部分呈线性分布。根据假设的道路图像模型，定义如下深度变化规则：

（1）对于道路区域的深度变化值，以消失点所在的水平线为界从下而上线性递增，定义消失线所在位置为深度无穷远处，如图3(a)所示；

（2）竖直区域的深度值直接定义为与道路轮廓线相交处的深度值；

（3）假设图像模型中天空是距离摄像机最远的区域，直接视作深度最深处；

图3道路深度梯度变化图

Fig. 3 Road depth gradient map.

5实验结果与分析

为了估计提出算法的性能，本文针对大量城市道路图像进行了实验，并与经典的算法进行了对比。

图4给出了符合假设条件的几幅典型道路图像的深度估计结果。其中4(a)表

示原图, 图4(b)表示基于边缘增长的图像区域分割结果，图4(c)表示道路图像消失点检测结果，其中绿色星型位置为消失点。图4(d)表示三维空间关系推理的结果，其中竖直区域标记为红色，地面区域标记为蓝色，其它区域为天空区域。图4(e)表示深度估计结果。由图4的结果可知，对符合假设道路模型的图像，本文算法在区域分割方面有效保证了具有相似颜色和连通关系的道路和天空区域的准确分割和识别。此外，本文算法利用分割区域轮廓中提取的道路平行线，能够比较准确的识别道路消失点，进一步根据道路平行线和竖直线信息能够准确标记图像道路、天空、竖直区域。由深度估计结果可知，本文算法在路面的深度估计方面，很好的体现了道路由近及远的深度变化关系，道路区域部分的深度估计符合人的视觉特征。

图4三维空间关系推理结果图及深度关系图。(a)原图；（b）图像分割；（c）消失点；（d）图像类聚分析；(e)标记三维空间关系；(f)道路深度关系

Fig.4 Results with our algorithm. (a) Original image; (b) Result of image segmentation; (c) Result of vanishing point detection, where the green star is the vanishing point;(d) Result of marked sky, road and vertical region;(f) Result of depth estimation.

图5列出了部分Hoiem方法[7]与所提方法的深度估计结果。图5.(b)为运用Hoiem等人提出的算法得到的最大深度估计结果，5.(c)为本文算法得出的结果。实验结果表明，对于图像中标记为天空的区域，所提方法的实验结果与 Hoiem方法中的最大深度估计方法的实验结果相差无几；对于路面区域，提出算法由于以消失点所在位置定义为无穷远处，因此更好的体现了道路景深由远及近的变化规律；但对于竖直面区域，Hoiem方法认为区域内不存在深度渐变信息，因此同一区域深度相同，而本文算法则定义竖直区域的深度和路面交点处的深度相同，这一点符合深度的变化规律，体现了竖直区域的深度渐变关系。此外，本文算法并没有区分竖直区域中的建筑物、车辆和树木信息，既避免了误分类的情况，又避免了多余的计算量，与Hoiem方法相比，虽然竖直区域体现的物体层次感不强，但准确体现了各个竖直面的深度变化关系，对于智能交通中的道路深度估计和障碍物检测已经足够。

图5不同深度关系图比较。(a)原图； (b) Hoiem深度关系图；(c) 本文道路深度关系图 Fig. 5 Depth estimation results with Hoiem’s algorithm and our algorithm. (a) Original image;

(b) Hoiem’s algorithm; (c) Our algorithm.

下载地址：基于轮廓特征理解的城市道路图像深度估计35.Doc

　　【】