基于双目相机和深度学习的视觉里程计算法研究
发布时间：2021-02-02 17:06
SLAM（Simultaneous Localization and Mapping,实时定位和制图研究）是机器人和场景理解中非常重要的研究方向,并且在定位导航领域起着重要作用。近年来由于双目相机的成本较低,抗环境干扰能力强,逐渐引起人们注意。视觉里程计在双目视觉SLAM中起到至关重要的作用,在定位和地图绘制中具有非常重要的意义。近年来,深度学习发展非常迅速,且应用非常广泛,深度学习在双目SLAM中的应用研究正在逐步成为SLAM的研究趋势。本文基于深度学习方法研究了双目SLAM视觉里程计模块,优化了现有的深度学习网络损失函数,提高了相机姿态估计和深度恢复的准确性,并且将网络输出的帧间相对位姿转换为全局相机位姿。本文相关研究设计如下:首先,设计了端对端的视觉里程计网络,实现了相机位姿和图像深度估计。通过无监督的方式将位姿估计网络和深度恢复网络联合训练,利用双目相机的空间几何一致性和输入图像序列的时间几何一致性对网络训练进行约束。为了避免陷入局部最优解“陷阱”,深入研究SLAM直接法估计相机位姿的原理,设计了边缘检测图像预处理的方法提高图像边缘梯度的权重,提升位姿估计精度。其次,通过研究分...
【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校
【文章页数】：86 页
【学位级别】：硕士
【部分图文】：
GeoNet级联网络结构图
哈尔滨工业大学工程硕士学位论文9系，成像原理如图2-1所示，成像平面的原点与相机光心处于同一水平线上，可以假设相机平面坐标系为yox，像素坐标系为uov，成像平面转化为像素坐标系时，成像平面图像坐标系在u轴上缩放a倍，在v轴上缩放b倍，同时，原点平移了[yxCC,]。那么成像坐标与像素坐标系关系可表示为：xCaxu（2-1）yCbyv（2-2）图2-1真实成像原理而成像平面与实际物体所在的相机坐标系的关系与相机焦距f有关，根据针孔相机模型，可以得到相机坐标系xoy与成像平面的图像坐标系yox的坐标系转换，表示为式2-3：yyxxfz（2-3）由此可得像素坐标系与相机坐标的转换关系为：xCzxafu（2-4）yCzybfv（2-5）令affx，bffy，因为f的单位为米，a，b的单位为像素每米，所以xf,yf的单位为像素，将式2-4,2-5表示为齐次坐标的形式，可得：
哈尔滨工业大学工程硕士学位论文10KPzyxCfCfzvuyyxxZ11000011（2-6）此时中间量组成的矩阵K称为内参矩阵，我们标定的一个主要目的就是为了确定相机的内参。另一方面，由于相机使用的是透镜的原因，会产生相机畸变，一般根据透镜形状和相机组装误差分为径向畸变以及切向畸变。径向畸变一般分为两种，桶形畸变和枕形畸变，如图2-2所示。桶形畸变和枕形畸变都与图像放大率和光轴距离有关，一般来说，桶形畸变主要是由于图像放大率与光轴距离成反比，枕形畸变与之相反。这两种畸变中，对于穿越图像中心和光心的光线没有影响，可以得到正常的成像内容。图2-2径向畸变示意图对于径向畸变，因为径向畸变程度与光心距离成正比，通常的去畸变操作使用多项式函数来表示去畸变前后的坐标，可以表示为下式：6342211rkrkrkxxcorrected（2-7）6342211rkrkrkyycorrected（2-8）其中yx,为未校正的坐标点，经过校正后，坐标点表示为correctedcorrectedyx,。切向畸变主要是由于透镜与成像平面不平行，导致了物体投影距离光心距离的变化，一般纠正函数为：222122xrpxypxxcorrected（2-9）xypyrpyycorrected222122（2-10）纠正图像畸变一般使用这五个畸变系数21321,,,,ppkkk，相机标定的另一个重要目的为计算出这五个畸变系数。
【参考文献】：
期刊论文
[1]基于点特征的单目视觉里程计实现[J]. 夏亮,黄鹤. 北京测绘. 2019(03)
[2]基于计算机的视觉立体匹配算法探究[J]. 周琼. 数字通信世界. 2018(08)
[3]基于RGB-D深度相机的室内场景重建[J]. 梅峰,刘京,李淳秡,王兆其. 中国图象图形学报. 2015(10)
[4]自适应动态规划综述[J]. 张化光,张欣,罗艳红,杨珺. 自动化学报. 2013(04)
[5]图像Harris特征点提取算法的研究[J]. 魏佳. 电脑知识与技术. 2010(32)
[6]四元数矩阵的实表示与四元数矩阵方程[J]. 姜同松,魏木生. 数学物理学报. 2006(04)
硕士论文
[1]基于无监督学习的相机位姿估计算法研究[D]. 吴炎桐.北京邮电大学 2019
[2]教育机器人室内视觉惯性里程计研究[D]. 李泰.华中师范大学 2019
[3]基于视觉SLAM的语义地图研究[D]. 常思雨.哈尔滨工业大学 2018
[4]基于RGB-D数据的SLAM算法研究[D]. 吕宪伟.北京理工大学 2016
本文编号：3015063
【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校
【文章页数】：86 页
【学位级别】：硕士
【部分图文】：
GeoNet级联网络结构图
哈尔滨工业大学工程硕士学位论文9系，成像原理如图2-1所示，成像平面的原点与相机光心处于同一水平线上，可以假设相机平面坐标系为yox，像素坐标系为uov，成像平面转化为像素坐标系时，成像平面图像坐标系在u轴上缩放a倍，在v轴上缩放b倍，同时，原点平移了[yxCC,]。那么成像坐标与像素坐标系关系可表示为：xCaxu（2-1）yCbyv（2-2）图2-1真实成像原理而成像平面与实际物体所在的相机坐标系的关系与相机焦距f有关，根据针孔相机模型，可以得到相机坐标系xoy与成像平面的图像坐标系yox的坐标系转换，表示为式2-3：yyxxfz（2-3）由此可得像素坐标系与相机坐标的转换关系为：xCzxafu（2-4）yCzybfv（2-5）令affx，bffy，因为f的单位为米，a，b的单位为像素每米，所以xf,yf的单位为像素，将式2-4,2-5表示为齐次坐标的形式，可得：
哈尔滨工业大学工程硕士学位论文10KPzyxCfCfzvuyyxxZ11000011（2-6）此时中间量组成的矩阵K称为内参矩阵，我们标定的一个主要目的就是为了确定相机的内参。另一方面，由于相机使用的是透镜的原因，会产生相机畸变，一般根据透镜形状和相机组装误差分为径向畸变以及切向畸变。径向畸变一般分为两种，桶形畸变和枕形畸变，如图2-2所示。桶形畸变和枕形畸变都与图像放大率和光轴距离有关，一般来说，桶形畸变主要是由于图像放大率与光轴距离成反比，枕形畸变与之相反。这两种畸变中，对于穿越图像中心和光心的光线没有影响，可以得到正常的成像内容。图2-2径向畸变示意图对于径向畸变，因为径向畸变程度与光心距离成正比，通常的去畸变操作使用多项式函数来表示去畸变前后的坐标，可以表示为下式：6342211rkrkrkxxcorrected（2-7）6342211rkrkrkyycorrected（2-8）其中yx,为未校正的坐标点，经过校正后，坐标点表示为correctedcorrectedyx,。切向畸变主要是由于透镜与成像平面不平行，导致了物体投影距离光心距离的变化，一般纠正函数为：222122xrpxypxxcorrected（2-9）xypyrpyycorrected222122（2-10）纠正图像畸变一般使用这五个畸变系数21321,,,,ppkkk，相机标定的另一个重要目的为计算出这五个畸变系数。
【参考文献】：
期刊论文
[1]基于点特征的单目视觉里程计实现[J]. 夏亮,黄鹤. 北京测绘. 2019(03)
[2]基于计算机的视觉立体匹配算法探究[J]. 周琼. 数字通信世界. 2018(08)
[3]基于RGB-D深度相机的室内场景重建[J]. 梅峰,刘京,李淳秡,王兆其. 中国图象图形学报. 2015(10)
[4]自适应动态规划综述[J]. 张化光,张欣,罗艳红,杨珺. 自动化学报. 2013(04)
[5]图像Harris特征点提取算法的研究[J]. 魏佳. 电脑知识与技术. 2010(32)
[6]四元数矩阵的实表示与四元数矩阵方程[J]. 姜同松,魏木生. 数学物理学报. 2006(04)
硕士论文
[1]基于无监督学习的相机位姿估计算法研究[D]. 吴炎桐.北京邮电大学 2019
[2]教育机器人室内视觉惯性里程计研究[D]. 李泰.华中师范大学 2019
[3]基于视觉SLAM的语义地图研究[D]. 常思雨.哈尔滨工业大学 2018
[4]基于RGB-D数据的SLAM算法研究[D]. 吕宪伟.北京理工大学 2016
本文编号：3015063
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3015063.html
