基于智能设备的多视角三维重建关键技术研究
发布时间：2021-08-18 13:24
随着电子信息技术和计算机视觉技术的不断发展,智能设备,如智能手机、无人驾驶汽车、智能家居设备、智能穿戴设备、VR/AR设备等开始不断的走入人们的日常生活,并为大众的所关注。其中智能手机、笔记本电脑等设备已经称为人们生活中不可或缺的一个工具,与人们的日常生活紧密联系,而如智能穿戴、智能家居等设备也即将在人们的生活中扮演越来越重要的角色,特别需要关注的是无人驾驶技术最近几年的高速发展,或许不远的未来人类日常交通出行方式会因此而发生翻天覆地的变化。对于诸如此类的智能设备而言,一个核心应用功能就是实现对周围环境、目标物体等场景下的多视角三维重建,而本文的目的是研究基于智能设备搭载的双目视觉相机与IMU传感器实现的三维重建算法中的关键技术。本文围绕双目视觉信息和IMU信息融合的SLAM算法和双目立体匹配算法这两个问题,在现有研究的基础上,优化改进这两项技术并实现了基于智能设备的三维重建系统。主要的工作包括以下几点:一是融合IMU的双目视觉SLAM算法。SLAM算法是整个三维重建的基础,为后续部分提供了关键帧以及关键帧位姿。本文在传统的双目视觉SLAM的基础上,改进了其中视觉里程计的特征匹配策略,...
【文章来源】：成都信息工程大学四川省
【文章页数】：69 页
【学位级别】：硕士
【部分图文】：
系统坐标系示意图
成都信息工程大学硕士学位论文第8页共62页物理成像平面坐标系Oxy的坐标原点为光轴与成像平面的交点。真实三维空间点P在物理成像平面上的投影为P，其坐标通常记为x,y。需要注意的是世界坐标系、相机坐标系以及物理成像平面坐标系的单位均为实际的物理单位；（4）像素坐标系以物理成像平面的左上角为像素坐标系O-u-v的原点，其u,v轴平行与物理成像平面坐标系的x,y轴。坐标系单位为像素。以上四个坐标系是相机模型的基础，会在本文中大量出现。2.1.1针孔相机模型针孔相机模型描述了光线通过针孔之后在其背面投影成像的过程，是一个理想的几何模型。基于针孔相机模型，可以用数学语言来描述三维空间中的坐标点映射到二维图像平面的过程。图2-2针孔相机模型针孔相机模型如图2-2所示Oxyz为相机坐标系，O为相机的光心，即针孔相机模型中的针孔。一般让z轴指向相机的前方，x轴向右，y轴向下。真实场景中的空间点(,,)cccPxyz，经过相机光心O投影到物理成像平面Oxy，其成像点为P(x,y)。焦距f为物理成像平面到小孔的距离，根据相似三角形原理则有：ccccccczxyfxyxxfzyyfz（2-1）公式（2-1）描述了相机坐标系到图像物理坐标系之间的空间关系。但实际相机拍摄后最终得到的是由像素组成的图像，为了描述相机中CMOS传感器将感受到的光线转换成图像像素的过程引入像素坐标系。其坐标原点O位于图像左上角，具有水平、垂直方向上的伸缩因子(,)。相机坐标系的原点O在像素坐标系中的坐标为(,)xycc，如图
成都信息工程大学硕士学位论文第9页共62页2-3所示。图2-3像素坐标系定义P点在像素坐标系下的坐标为(u,v)，则有：xyuxcvyc（2-2）结合公式（2-1）和公式（2-2），使用齐次坐标可以得到相机模型转换的矩阵形式：00100100001xxcyyccxxyyufcxZvfcyKPzfcKfc（2-3）其中，xyff，ff。矩阵K称为相机的内参矩阵，在相机制造完成后是固定不变的，通常由相机厂商在购买时提供，或者可以自行标定。一般对于单目相机而言，标定相机就意味着求其内参矩阵。显然，当P点在世界坐标系下的坐标记为wP，其在像素坐标系下的坐标记为uvP，从世界坐标系到相机坐标系的变换矩阵用CWT表示，其由旋转矩阵R和平移向量t来描述，则有：()=KTP01uvwCWwCWTZPKRPtRtT（2-4）2.1.2相机畸变模型针孔相机模型是一个理想模型。在相机的实际使用中，为了获得更好的成像效果一般会在相机中引入透镜等光学器件，其对成像过程中光线的传播产生新的影响：一是透镜自身的形状对光线传播的影响，二是在机械组装过程中，透镜和成像平面不能完全平行，也会造成光线传过透镜投影到成像面时的位置发生变化。
【参考文献】：
期刊论文
[1]改进的跨尺度引导滤波立体匹配算法[J]. 杜晨瑞,李英祥. 计算机系统应用. 2019(04)
[2]基于加权引导滤波的局部立体匹配算法[J]. 陈松,陈晓冬,苏修,刘依林,汪毅,郁道银. 纳米技术与精密工程. 2017(05)
[3]基于线性滤波的树结构动态规划立体匹配算法[J]. 储珺,龚文,缪君,张桂梅. 自动化学报. 2015(11)
[4]非参数变换和改进动态规划的立体匹配算法[J]. 门宇博,马宁,张国印,李香,门朝光,孙鹏飞. 哈尔滨工业大学学报. 2015(03)
本文编号：3349971
【文章来源】：成都信息工程大学四川省
【文章页数】：69 页
【学位级别】：硕士
【部分图文】：
系统坐标系示意图
成都信息工程大学硕士学位论文第8页共62页物理成像平面坐标系Oxy的坐标原点为光轴与成像平面的交点。真实三维空间点P在物理成像平面上的投影为P，其坐标通常记为x,y。需要注意的是世界坐标系、相机坐标系以及物理成像平面坐标系的单位均为实际的物理单位；（4）像素坐标系以物理成像平面的左上角为像素坐标系O-u-v的原点，其u,v轴平行与物理成像平面坐标系的x,y轴。坐标系单位为像素。以上四个坐标系是相机模型的基础，会在本文中大量出现。2.1.1针孔相机模型针孔相机模型描述了光线通过针孔之后在其背面投影成像的过程，是一个理想的几何模型。基于针孔相机模型，可以用数学语言来描述三维空间中的坐标点映射到二维图像平面的过程。图2-2针孔相机模型针孔相机模型如图2-2所示Oxyz为相机坐标系，O为相机的光心，即针孔相机模型中的针孔。一般让z轴指向相机的前方，x轴向右，y轴向下。真实场景中的空间点(,,)cccPxyz，经过相机光心O投影到物理成像平面Oxy，其成像点为P(x,y)。焦距f为物理成像平面到小孔的距离，根据相似三角形原理则有：ccccccczxyfxyxxfzyyfz（2-1）公式（2-1）描述了相机坐标系到图像物理坐标系之间的空间关系。但实际相机拍摄后最终得到的是由像素组成的图像，为了描述相机中CMOS传感器将感受到的光线转换成图像像素的过程引入像素坐标系。其坐标原点O位于图像左上角，具有水平、垂直方向上的伸缩因子(,)。相机坐标系的原点O在像素坐标系中的坐标为(,)xycc，如图
成都信息工程大学硕士学位论文第9页共62页2-3所示。图2-3像素坐标系定义P点在像素坐标系下的坐标为(u,v)，则有：xyuxcvyc（2-2）结合公式（2-1）和公式（2-2），使用齐次坐标可以得到相机模型转换的矩阵形式：00100100001xxcyyccxxyyufcxZvfcyKPzfcKfc（2-3）其中，xyff，ff。矩阵K称为相机的内参矩阵，在相机制造完成后是固定不变的，通常由相机厂商在购买时提供，或者可以自行标定。一般对于单目相机而言，标定相机就意味着求其内参矩阵。显然，当P点在世界坐标系下的坐标记为wP，其在像素坐标系下的坐标记为uvP，从世界坐标系到相机坐标系的变换矩阵用CWT表示，其由旋转矩阵R和平移向量t来描述，则有：()=KTP01uvwCWwCWTZPKRPtRtT（2-4）2.1.2相机畸变模型针孔相机模型是一个理想模型。在相机的实际使用中，为了获得更好的成像效果一般会在相机中引入透镜等光学器件，其对成像过程中光线的传播产生新的影响：一是透镜自身的形状对光线传播的影响，二是在机械组装过程中，透镜和成像平面不能完全平行，也会造成光线传过透镜投影到成像面时的位置发生变化。
【参考文献】：
期刊论文
[1]改进的跨尺度引导滤波立体匹配算法[J]. 杜晨瑞,李英祥. 计算机系统应用. 2019(04)
[2]基于加权引导滤波的局部立体匹配算法[J]. 陈松,陈晓冬,苏修,刘依林,汪毅,郁道银. 纳米技术与精密工程. 2017(05)
[3]基于线性滤波的树结构动态规划立体匹配算法[J]. 储珺,龚文,缪君,张桂梅. 自动化学报. 2015(11)
[4]非参数变换和改进动态规划的立体匹配算法[J]. 门宇博,马宁,张国印,李香,门朝光,孙鹏飞. 哈尔滨工业大学学报. 2015(03)
本文编号：3349971
本文链接：https://www.wllwen.com/kejilunwen/shengwushengchang/3349971.html
最近更新
教材专著
