基于SoC技术的遥感图像快速匹配方法研究

发布时间：2018-05-13 13:19

本文选题：SoC + SIFT　；参考：《东南大学》2016年博士论文

【摘要】：遥感图像的自动解译是一个重要的研究领域,而图像匹配是自动解译技术的关键一环。近几十年来,图像匹配技术一直是计算机视觉领域研究的热点和难点。随着传感器技术的飞速发展,遥感图像的分辨率越来越高,图像尺寸和信息量也越来越大,这都加大了图像匹配的难度、复杂度和计算量。目前,匹配效果较好的一类算法,在处理大幅图像时,一般都难以满足实时性。满足图像匹配处理的实时性,要从算法设计、软硬件协同实现等多种途径着手,综合解决问题。本文针对实时图像匹配的实际需要,研究图像匹配处理的实时性实现问题,具有重要的理论意义和应用价值。目前,图像匹配算法主要分为基于特征的和基于灰度的两大类,其中,基于特征的算法,由于处理效果好、算法鲁棒性强等特点,在非实时处理领域得到了广泛应用,但这类算法计算量大,难以满足嵌入式应用领域的实时性要求。随着芯片技术特别是可编程芯片以及SoC技术的飞速发展,利用芯片设计和并行处理技术来实现图像匹配算法,具备了物质基础。现在,基于20纳米CMOS工艺的某些FPGA芯片,集成度已达几亿个晶体管的水平,时钟主频接近GHz,因此基于SoC FPGA的方式必将因为集成度高、功耗低、体积小等突出优势,而逐步成为嵌入式领域图像处理的主流方式。本文采用了基于SoC FPGA的方式来实现图像匹配算法。本文从算法设计和芯片及系统设计两个角度,针对嵌入式遥感图像处理的实际需要,对图像的快速匹配方法进行理论和技术研究,主要研究工作包括：1) 提出了一种采用混合尺度搜索策略实现大幅图像快速匹配的新算法。将指数的和线性的两种尺度变换方式结合起来,分别用于图像的粗匹配和精匹配,可大大降低匹配计算量。采用指数尺度变换策略时,利用小波变换的低频子带图像来求取图像匹配的粗略位置,并以此位置为搜索起点,在原始图像中用线性尺度变换方法求取局部的、最终的精确位置。在粗、精两种匹配过程中,可采用基于特征和线性尺度变换的算法进行特征检测和描述,如SIFT算法,这类算法匹配概率大、精度高但计算复杂、运算耗时多。小波变换的低频子图保留了图像的主要特征,初始搜索可以获得主要特征的大致位置,采用多次二维小波变换,可大大压缩初始搜索范围,如2次小波变换后,得到的低频子图只有原图的1/16,在此子图上进行特征搜索要容易得多。目前SIFT算法采用线性的尺度伸缩变换,这种方式导致图像处理速度慢,计算量难以削减。理论分析和软件数值仿真表明,本文新提出的算法可将SIFT算法的计算量减少至原来的1/3,同时,算法的小波变换、特征提取和匹配可分开处理,便于硬件电路的并行设计。2) 研究和提出了图像粗匹配时用于空间压缩的小波滤波器设计方法和约束条件。图像的高低频信息分别描述了图像的局部特征和全局特征。要实现图像的高低频分解并用低频子图进行粗匹配,需设计小波分解滤波器,而小波滤波器用提升格式小波变换来实现。与线性尺度变化的SIFT算法不同,提升格式小波变换的尺度变化是指数型的,由小波变换产生的尺度集是SIFT算法产生的尺度集的稀疏子集。在同一尺度上,小波变换产生的低频滤波效果应与SIFT算法的基本相同,这样才不会改变图像特征矢量。图像匹配依据图像的特征(即描述子)做相似性度量,本文根据小波及其滤波器的特性,研究了小波变换对描述子的影响,得出了大幅图像快速匹配算法中小波滤波器设计的约束性条件。3) 针对经典SIFT算法,基于集成电路技术提出了一种新的硬件SIFT处理电路。经典SIFT算法采用串行计算模式,大量运用浮点计算、曲线拟合、串行迭代、线性插值等方法。要在集成电路上实现SIFT算法,需要采用并行处理的方式重新设计算法的各个功能模块。本文采用并行结构、定点运算、存储复用和分布式数据管理等技术设计了SIFT算法的专用处理集成电路。为保证算法的旋转不变性,本文提出了邻域信息的极点分布提取和子模块重排序方法。与SIFT算法相比,新方法不需要浮点数的乘法运算和额外的存储空间,只需通过地址搜索和数据统计即可。同时,为降低相似性度量算法的复杂度,本文提出了一种特征二值型描述方法,新型特征矢量采用汉明距离进行相似性度量,这种度量方式比欧式距离更适合并行电路的设计。性能验证表明,采用集成电路实现的改进SIFT算法,不但有较高的匹配精度,同时算法速度满足实时性。4) 研究并提出了利用图像纹理进行特征分布预判,实现遥感图像匹配加速的方法。图像匹配的运算时间与图像大小成正比,对于特征点非均匀分布的大幅图像,如果能预先了解特征点分布的统计特性,就可针对性地减少特征点稀疏区域的无用功计算,从而提高匹配速度。遥感图像中的不同地貌,其特征点分布的统计特性差异较大。定量分析不同地貌的纹理特征,可预判图像的空间复杂度,在采用混合尺度搜索策略进行图像匹配之前,实现粗细两级匹配方式的无监督选择。对于集成电路实现的图像匹配,预判模块可作为前置模块,采用流水线方式与匹配系统相接,这样可以有效缩减整个匹配操作的计算量,实现遥感图像的匹配加速。5) 研究了本文新提出的图像匹配算法的SoC FPGA芯片的设计问题。在Xilinx Zynq 7000系列SoCFPGA芯片里,设计和实现了图像匹配算法的主要模块。Xilinx Zynq 7000系列芯片内含Xilinx的FPGA阵列PL和ARM的Cortex-M9双核处理器PS,PL和PS通过嵌入式Linux操作系统进行管理和调度。匹配算法中的小波变换、纹理预估和SIFT特征描述子提取等耗时模块采用PL资源来实现,描述子的匹配在PS中完成,两者之间利用Xilinx的AXI总线进行数据交互。系统数据的输入和输出通过Linux启动相应的I/O处理IP核,并利用于兆以太网接口与外界交互数据。芯片内部的软件设计,采用了多线程技术,将软件计算动态分配到两个CPU核中处理,进一步提高了系统处理速度。目前,对一幅1600×1050大小的彩色遥感图像进行特征提取和描述,采用软件方法需要25秒,而采用本文的SoC FPGA实现芯片只需要6毫秒。经过200多组图像数据的测试,芯片方案比软件方案可快约3个数量级。如果采用更大容量的SoC FPGA芯片来实现图像匹配算法,图像间的匹配处理时间有望达到10毫秒以下,可以满足大多数实时场合的处理需求。
[Abstract]:This paper presents a new algorithm for image matching based on SoC FPGA , which is based on the characteristics of high integration , low power consumption , small volume and so on . A new hardware SIFT algorithm is proposed based on the features of wavelet transform and wavelet transform . An improved SIFT algorithm implemented by integrated circuits has not only a high matching accuracy but also an algorithm speed satisfying real - time performance .

【学位授予单位】：东南大学
【学位级别】：博士
【学位授予年份】：2016
【分类号】：TP751

【相似文献】