利用一致性检验的多图像中前景物体的自动分割

发布时间：2020-02-14 12:03

【摘要】：图像中前景物体的分割具有十分广泛的应用,传统的方法需要借助一定的人工交互来获得前景物体的初始区域,但对于多图像数据集,这种人工交互的方式是十分烦琐的.为此提出一种基于一致性检验的多图像自动前景物体分割的方法.首先借助一定的三维场景的先验知识在多幅图像之间进行视图转换;然后对图像中的每个像素进行一致性分析,得到初始的前、背景标记结果;最后基于这个初始的标记结果构建相应的能量方程,并进行迭代优化,最终得到前景物体的精确轮廓.实验结果表明,该方法能够准确地检测出图像中前景物体的位置以及提取其轮廓,并能够利用分割的结果进行准确的三维重建.
【图文】：

比较图,检测过程,图像,像素

维场景Γ将图像jI变换到图像iI上,具体而言,给定Γ中的三维点Xx,y,z,以及图像iI所在视角iV相对于Γ的旋转R和平移T,该三维点投影到iI中的像素位置xu,v是可以计算的,|11xuyvzKRT.如果三维场景中所有三维点的位置是已知的,就可以计算出三维点与图像中的像素位置的对应关系,将图像jI投影到Γ上再反投影回图像iI上,得到图像jI在图像iI视点下的新图像jiI.新得到的图像与iI进行比较,便可以得到图像iI与图像jI存在差异的区域,如图1所示.理论上,如果图像iI,jI都是实际三维场景Γ在某个视点下的描述,并且给定的Γ和Γ几何信息完全一致,那么图像iI与jI重叠的区域应该是一致的.如果发生了不一致的情况,说明Γ和Γ在相应区域发生了几何上的变化,原因是给定的三维场景Γ缺少了图像iI和jI中的相应三维物体的模型造成的,因此需要检测出这些不一致的区域,得到图像中三维物体的区域,然后重建出相应的三维模型.考虑到图像相对位置关系以及三维场景Γ可能存在误差,在比较图像像素是否一致时,本文采用ww的窗口来进行比较.图1图像不一致区域的检测过程将图像iI与jI间像素的对应关系记为ijf,即jifyxII,图像iI中x位置处的像素与图像jI中y位置的像素是对应的.以像素ipI为中心设置一个窗口Www,本文中w7.对于W中像素q,计算出其在图像jI中的相应像素为ijfq.p与ijfp之间的差异值,ijDpfp取窗口内像素的颜色差异值,,||||ijijqWpDpfpCqCfq.那么像素p处的颜色一致性标记为22,consist11eijDpfpjFp(1)此外,还可以利用归一化互相

示意图,示意图,图像,单应矩阵

第6期潘成伟,等:利用一致性检验的多图像中前景物体的自动分割1031幻象,但其中只有一个才是图像jI中真正物体的区域,这个区域仅与图像jI有关,而另一个区域将会随着比较的图像变化而变化.因此,只有在所有的比较中都保持一致的区域,才是前景物体的真正所在区域,如图2所示.3.2多图像间视图变换图像一致性分析的一个关键步骤是进行多图像间的视图变换,即将图像由一个视角变换到另一个视角下.假定目标物体处于一个平面的背景区域范围内,对于给定三维空间的平面,2个视图间存在单应,单应关系为[22]T121(/d)HKRtnK(4)其中,12K,K表示2幅图像相机的内参,R,t表示2幅图像相机的相对位置关系(旋转和平移),Tnd表示空间平面的单位法向量.有了单应矩阵,便可以将图像从一个视图变换到另一个视图.在本文着重关注的小物体重建的上下文中,通常前景物体都是放置在一个背景平面上,此时,平面背景的假设是常见和合理的.对于单应矩阵,如果平面的方程已知,可以根据式(4)直接求解;在平面方程未知的情况下,可以利用RANSAC方法筛选出图像间满足单应变换关系的特征点对,进而求解出图像间的单应映射关系,完成图像之间的透视变换.图2多视图一致性分析示意图在进行图像一致性分析时,对于本文选取的2幅图像,如果它们之间的视线夹角很小,那么变换时2幅图像产生的差异比较小,一致性分析产生的前景区域也很小;如果2幅图像之间的视角差异很大,有可能造成观察角度差异大导致的像素颜色信息差异大的问题,使得一致性分析的误差变大.因而需要为待分析的图像选择相应视角范围内的图像进行一致性分析,本文实验中取视角差异在[30,60]的图像作为对比图像进行一致性分析,既避免了图像集中任意两两图像比较,也增加了一致性分析的可靠性.

【相似文献】