机器人视野下图像拼接技术的研究

发布时间：2020-08-14 12:21

【摘要】：视频拼接是建立在图像拼接基础上的一个重要研究领域,可应用在社会安防、医疗图像、无人驾驶以及旅游观光等领域。本文针对移动机器人单目视觉的局限性,提出了多摄像头视频拼接,以拼接的全景视觉来替代单目视觉。本文首先阐述了视频拼接与图像拼接的关系,从图像拼接推演到视频拼接。在图像配准实时性的问题,分析了SIFT以及SURF这两种常用算法的优劣性,在此基础上提出了一种实时性更强的改进SURF算法,即在提取特征点时,对图像采取分段线性处理,抑制了不明显的特征点,并且对检测区域进行了减半处理,对生成的特征向量使用主元分析的方法对数据进行了降维处理。仿真结果表明,改进的SURF算法不仅提高了实时性,而且保留了原算法尺度不变性以及旋转不变性等良好特性。其次,常规的渐入渐出融合算法在融合区域的细节部分会因权值的选取不当而变得模糊,因此本文在渐入渐出的融合方法基础上进行了改进,保留了特征点及其邻域内显著的像素点,将非特征点采用常规的渐入渐出法进行融合。该方法在消除拼接缝的基础上,也可以将拼接的细节凸显出来。最后,将图像拼接的算法推演在视频拼接上,在进行视频拼接时采取了对关键帧选取。关键帧的选取是根据其相邻两帧图像的像素差来决定,并保证每秒选出的关键帧不少于人眼所能看到连续画面的最小帧数。为保证在特定的环境下测试其实时性,采用FPGA进行视频采集,并将采集到的视频传输到DSP中,在DSP实现了上述算法。综上,本文提出的改进算法在视频拼接上有着更高的效率,并且拼接的图像细节部分更加突出,可以应用在实际当中。
【学位授予单位】：西安科技大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.41;TP242
【图文】：

流程图,图像拼接,流程,视频

频拼接的基础图像拼接与视频拼接的关系信息爆炸的时代，人们经常通过图像和视频来索取想要的信息，视频的本视频是连续的图像，包含多幅图像，并且包含图像的运动信息，由于人眼限，故而当在单位时间内看到的图像数目超过一定的数目，根据人体的各人们看到这些画面将是连续的即运动的画面，这就是所谓的视频。这个频图片每秒，即 25 帧每秒，这便是经常理解的帧率的概念。而视频拼接是基础，要想研究视频拼接，必须先研究图像拼接，本文就是先研究图像拼接的原理、过程应用在视频拼接上，再对视频拼接稍作处理，便能得到完过程。此在研究视频拼接之前，将先介绍图像拼接，视频可以分为一帧一帧的图良好的图像拼接算法重要性不言而喻，视频拼接的质量直接由前期图像拼定，如图 2.1 所示为图像拼接的基本流程图。

示意图,图像采集,示意图,摄像机

利用 DSP 运行程序。图 2.2 图像采集示意图2.2 相机的投影模型要想进行图像或者视频的拼接，就先要清楚待拼接的两幅图像的对应关系，然后将对应的关系表示出来，因此先了解相机的投影模型。摄像机在成像过程中第一步就是摄像机的标定，现实世界是三维的场景，而相机拍摄出来的物体是二维的，两者之间的转换就是靠摄像机内部的成像透镜来投影得到的，所谓的成像变换就是上面所叙述的过程，也就是我们所说的摄像机成像模型。从现实世界上的某个物体上任意点，经过光的直线传播以及折射作用，最终变换到相机内部上的像的点。一般来说，摄像机按成像原理的不同可以分为线性与非线性模型，小孔成像的原理众所周知，其成像模型就是线性模型，本文就是使用同小孔成像原理相同的线性模型的摄像机。在成像过程中，现实世界的看到的物体，经过种种坐标系的变换，最后才在摄像机内部的图像坐标系上显示出来，而摄像机的标定就是来描述这一过程，这一过程最终可用投影矩阵来表示[38,39]。

模型图,小孔成像,模型,像平面

2 视频拼接预处理 y 轴归一化焦距。之间的关系成像模型型是本文所使用的相机的投影模型，如图 2.3 所示，A 为现孔，黄色的部分 P 为像平面，B 为物体 A 经过小孔投影在像型的原理为光的直线传播，如1l 、2l 分别为物体 A 上边界点直线传播，到达小孔 C，然后穿过小孔，传播到像平面的屏射光同样的原理，都会经过直线传播到达像平面的屏幕 P 上像 B 的大小与像平面的屏幕 P、小孔 C 以及物体 A 之间的过程中，成像设备的镜头是各种透镜，其原理与小孔成像相与相机的焦距以及距离物体的远近有关。

【参考文献】