基于降维CNN融合特征的无人机航拍图像拼接

发布时间：2020-10-27 04:37

　　随着无人机技术的发展及机载航拍设备的不断更新,无人机航拍图像被广泛应用于车流监控、地图重组、事故分析等不同领域。单张无人机航拍图像视角局限,涵盖信息少,在实际应用中需要将多张无人机航拍图像拼接成一幅更大视野的、分辨率更高的、无明显拼接缝的图像。针对无人机航拍图像存在的噪声和几何畸变的问题,本文结合当下在图像识别和分类领域表现出色的深度学习理论,深入研究了基于降维卷积神经网络(Convolutional Neural Networks,CNN)的无人机航拍图像拼接技术,本文的主要研究内容包括以下几个方面:(1)针对CNN高层网络输出维度过高带来的结构冗余和噪声问题,采用主成分分析法(principal component analysis,PCA)对其进行降维。首先通过奇异值分解(Singular Value Decomposition,SVD)进行矩阵分解,然后利用PCA将CNN全连接层的高维的数据信息映射到低维的空间中去表示,最后使用欧式距离(euclidean metric)验证降维前后图像特征的相似度。实验结果表明,适当降维后的CNN在图像特征表达的精度上有一定的提高。(2)针对尺度不变特征变换(Scale-invariant feature transform,SIFT)算法,运算时间长、缺乏图像色彩信息、误匹配率过高的问题,将颜色不变量加入SIFT算法组成彩色尺度不变特征变换算法(color scale-invariant feature transform,CSIFT)算法,并采用单应性矩阵与随机抽样一致性(random sample consensus,RANSAC)对配准结果进行提纯。通过实验证明改进后的CSIFT算法匹配特征点对的正确率更高,配准效果更好。(3)针对CSIFT算法只描述图像的低层特征,缺乏对高层特征表达的问题,提出一种将降维的CNN特征与CSIFT特征进行融合的图像配准的方法。通过实验证明融合特征的图像配准方法特征点匹配的精度更高,且降维后的CNN在做图像配准时,平均运行时间较降维前也有所缩短。(4)针对无人机航拍图像拼接时出现的错位、重影和拼接缝问题,提出将泊松融合算法用于航拍图像融合。通过两组实验比较了加权平均算法和泊松算法的融合效果。实验结果证明泊松融合算法的性能更优。
【学位单位】：长安大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TP183;TP391.41;U495
【部分图文】：