基于点、线特征的视觉惯性里程计
发布时间：2021-02-15 18:41
视觉惯性里程计（VIO）被广泛应用于无人机、无人驾驶、VR/AR等领域中,用于解决移动端在未知环境中实时定位的问题,具有重要的研究价值。为了提升位姿估计的准确性和鲁棒性,本文提出了基于点、线特征的采用紧耦合优化方法的视觉惯性里程计。线特征广泛存在于人造环境中,在VIO中添加对环境中线特征的观测,在纹理缺失的环境中线特征可以为VIO提供足够多的帧间视觉信息约束。本文的主要研究内容和研究方法包括:1.在点特征跟踪模块中通过最小化帧间图像灰度误差的方法估计帧间的单应变换矩阵和帧间的仿射亮度变化参数,然后用单应矩阵预测特征点在当前图像帧的位置,最后用KLT光流法跟踪特征点准确位置,本文的这种跟踪方法可以得到更高的跟踪成功率。在线征跟踪中本文采用先跟踪直线采样点的方法,再对直线进行筛选。2.本文中采用了一种新的IMU预积分方法,对IMU的预积分状态先用中值积分方法积分再推导出离散形式的误差状态方程,通过误差状态方程求得IMU预积分的均值和误差状态的协方差,从本文的最终位姿估计结果中证实了这个预积分方法的可靠性。3.在VIO的滑动窗口优化器中,本文采用非线性优化的方法最小化视觉点特征观测残差、视觉...
【文章来源】： 何宇喆 哈尔滨工业大学
【文章页数】：91 页
【学位级别】：硕士
【部分图文】：
百度无人驾驶出租车与大疆无人机实时准确的定位功能通常是无人设备自主运行的必备功能，是无人设备完成
哈尔滨工业大学工学硕士学位论文第2章图像视觉特征的跟踪2.1引言相机图像测量的处理是VIO系统的重要组成部分，图像处理模块中主要是对图像的元素进行跟踪，通常选择跟踪图像中的点特征和线特征，点特征的跟踪方法通常为特征点法、直接法和半直接法。特征点法需要先提取图像中的点特征，例如ORB[39]，SIFT[40]，SURF[41]特征点，然后计算特征的描述子，通过对比描述子进行帧间特征的匹配，在后端中优化点的重投影位置误差来估计位姿。直接法通常选择跟踪图像中具有较大像素梯度的点，跟踪方法通常计算点所在的像素块间的亮度误差来确定是否匹配，同样采用优化点的灰度误差来估计位姿。半直接法通常选择跟踪图像中的角点，通过最小化图像块灰度误差来确定新的图像帧中对应角点的位置，在后端中优化点的重投影位置误差来估计位姿。通常特征点法具有对光照不敏感的优点，但是运行速度较慢。直接法跟踪运行的速度较快，但是对光照敏感，由于相机的曝光时间变化引起的图像亮度变化容易导致系统跟踪失败，为了应对光照变化，DSO中采用光度标定的方法来提高跟踪稳定性。半直接法的代表作SVO具有极高的运行速度，因此本文中特征点跟踪方法主要借鉴了半直接法SVO的思想，先粗略预测特征点在新一帧图像的位置，再用LK[42]光流法跟踪到特征点的准确位置，因此本文中特征点跟踪方法获得了较高的跟踪成功率和跟踪速度。在跟踪线特征方法中常用计算线特征的LBD[35]描述子进行匹配，但是这种方法需要的计算量较大，因此本文中利用在跟踪点特征时估计的变换矩阵先粗略估算出线特征在当前图像帧中的位置，再调优线特征的准确位置。整个图像视觉特征的跟踪流程如图2-1所示：图2-1图像视觉特征的跟踪流程-8-
哈尔滨工业大学工学硕士学位论文2.2图像特征点的提取和跟踪2.2.1图像特征点的提取图像特征点常用的有FAST[43]角点，Harris角点和Shi-Tomasi角点，其中Harris[44]角点和Shi-Tomasi[45]角点需要用在用一个窗口在图像上滑动，并不断计算滑动窗口内图像块的Hessian矩阵及其特征值，因此提取Harris角点和Shi-Tomasi角点的速度较慢，特别是在图像金字塔内提取，会在提取特征点上花费较长时间。而提取FAST角点时，仅需要计算像素点和以它为中心的半径为3上的圆周上16个像素点的灰度差值，因此提取FAST角点速度较快，所以本文先提取FAST角点作为特征点的候选点集。FAST角点的提取方法为，选择图像平面一个像素p，其灰度值为Ip，再设定一个阈值T，以该像素为中心，在半径为3的圆周上选择16个像素点，若这16个点中有连续N个特征点的灰度值大于Ip+T或者小于IpT，则这个像素点为FAST角点，对图像所以像素重复执行上面的操作。通常取N=9能够有较好的提取效果。FAST角点提取算法在一些情况下即使Shi-Tomasi响应值很大，但是仍然不能提取出角点，例如类似棋盘格灰度模式的角点，所以本文借鉴了LIBVISO2[46]中的角点提取算法，采用图2-2所示的5×5大小的卷积核与图像做卷积运算，选取卷积结果的绝对值作为这个像素点的评分，然后在3×3大小的区域内用非极大值抑制筛选出候选角点进行后续处理。图2-25×5大小卷积核通过图2-3两种角点提取的算法可以看出，用卷积的方法可以准确，稳定的提取出棋盘格的角点。由于棋盘格的黑白交界处，图像易受到锯齿状噪声的干扰，FAST角点提取算法在棋盘格角点附近提取出了由于噪声形成的角点，这些角点在特征点跟踪中是很不稳定的，影响位姿的最终求解精度。通常特征点是具有尺度的，因此本文中先利用原始图像建立尺度?
本文编号：3035356
【文章来源】： 何宇喆 哈尔滨工业大学
【文章页数】：91 页
【学位级别】：硕士
【部分图文】：
百度无人驾驶出租车与大疆无人机实时准确的定位功能通常是无人设备自主运行的必备功能，是无人设备完成
哈尔滨工业大学工学硕士学位论文第2章图像视觉特征的跟踪2.1引言相机图像测量的处理是VIO系统的重要组成部分，图像处理模块中主要是对图像的元素进行跟踪，通常选择跟踪图像中的点特征和线特征，点特征的跟踪方法通常为特征点法、直接法和半直接法。特征点法需要先提取图像中的点特征，例如ORB[39]，SIFT[40]，SURF[41]特征点，然后计算特征的描述子，通过对比描述子进行帧间特征的匹配，在后端中优化点的重投影位置误差来估计位姿。直接法通常选择跟踪图像中具有较大像素梯度的点，跟踪方法通常计算点所在的像素块间的亮度误差来确定是否匹配，同样采用优化点的灰度误差来估计位姿。半直接法通常选择跟踪图像中的角点，通过最小化图像块灰度误差来确定新的图像帧中对应角点的位置，在后端中优化点的重投影位置误差来估计位姿。通常特征点法具有对光照不敏感的优点，但是运行速度较慢。直接法跟踪运行的速度较快，但是对光照敏感，由于相机的曝光时间变化引起的图像亮度变化容易导致系统跟踪失败，为了应对光照变化，DSO中采用光度标定的方法来提高跟踪稳定性。半直接法的代表作SVO具有极高的运行速度，因此本文中特征点跟踪方法主要借鉴了半直接法SVO的思想，先粗略预测特征点在新一帧图像的位置，再用LK[42]光流法跟踪到特征点的准确位置，因此本文中特征点跟踪方法获得了较高的跟踪成功率和跟踪速度。在跟踪线特征方法中常用计算线特征的LBD[35]描述子进行匹配，但是这种方法需要的计算量较大，因此本文中利用在跟踪点特征时估计的变换矩阵先粗略估算出线特征在当前图像帧中的位置，再调优线特征的准确位置。整个图像视觉特征的跟踪流程如图2-1所示：图2-1图像视觉特征的跟踪流程-8-
哈尔滨工业大学工学硕士学位论文2.2图像特征点的提取和跟踪2.2.1图像特征点的提取图像特征点常用的有FAST[43]角点，Harris角点和Shi-Tomasi角点，其中Harris[44]角点和Shi-Tomasi[45]角点需要用在用一个窗口在图像上滑动，并不断计算滑动窗口内图像块的Hessian矩阵及其特征值，因此提取Harris角点和Shi-Tomasi角点的速度较慢，特别是在图像金字塔内提取，会在提取特征点上花费较长时间。而提取FAST角点时，仅需要计算像素点和以它为中心的半径为3上的圆周上16个像素点的灰度差值，因此提取FAST角点速度较快，所以本文先提取FAST角点作为特征点的候选点集。FAST角点的提取方法为，选择图像平面一个像素p，其灰度值为Ip，再设定一个阈值T，以该像素为中心，在半径为3的圆周上选择16个像素点，若这16个点中有连续N个特征点的灰度值大于Ip+T或者小于IpT，则这个像素点为FAST角点，对图像所以像素重复执行上面的操作。通常取N=9能够有较好的提取效果。FAST角点提取算法在一些情况下即使Shi-Tomasi响应值很大，但是仍然不能提取出角点，例如类似棋盘格灰度模式的角点，所以本文借鉴了LIBVISO2[46]中的角点提取算法，采用图2-2所示的5×5大小的卷积核与图像做卷积运算，选取卷积结果的绝对值作为这个像素点的评分，然后在3×3大小的区域内用非极大值抑制筛选出候选角点进行后续处理。图2-25×5大小卷积核通过图2-3两种角点提取的算法可以看出，用卷积的方法可以准确，稳定的提取出棋盘格的角点。由于棋盘格的黑白交界处，图像易受到锯齿状噪声的干扰，FAST角点提取算法在棋盘格角点附近提取出了由于噪声形成的角点，这些角点在特征点跟踪中是很不稳定的，影响位姿的最终求解精度。通常特征点是具有尺度的，因此本文中先利用原始图像建立尺度?
本文编号：3035356
本文链接：https://www.wllwen.com/kejilunwen/shengwushengchang/3035356.html
最近更新
教材专著
