基于激光点云与图像融合的车辆检测方法研究
发布时间：2022-02-10 17:23
自动驾驶技术于未来交通运输、未来商业模式、智慧城市等领域有着重要意义。环境感知是实现自动驾驶的基础和技术前提,而多传感器数据融合因能提供冗余且准确的环境信息,现已成为环境感知技术的研究热点。融合技术发展过程中,为了确保精准可靠地检测目标,常不惜成本选择性能优越的传感器,但却也影响技术的商业化应用。因此,探索低成本的融合技术具有一定的研究意义与价值。为了改善单一传感器所造成的检测效果不佳以及避免多传感器融合普遍存在成本过高的问题,本文研究了一种基于4线激光雷达点云与视觉图像数据融合的目标检测方法。本文的主要工作内容包括:首先,采用Mask R-CNN卷积神经网络检测图像中的目标,研究了图像与激光雷达点云的时间、空间融合方法。将传感器采样时间统一到相同的时间戳,并对齐于采样周期长的传感器数据上;标定摄像头内、外参,建立传感器坐标系的空间转换模型,将同一时刻的数据映射到同一空间,实现了两种传感器对同一目标的一致性表达。然后,为了利用点云的深度信息获取目标在真实世界的准确位置,进一步匹配了图像检测框与对应的点云。采用循环遍历算法无法保证匹配效率,于是改进一种R-Tree算法,并验证了该算法能够...
【文章来源】：重庆理工大学重庆市
【文章页数】：84 页
【学位级别】：硕士
【部分图文】：
PointNet架构
（实线箭头表示流程，虚线箭头表示方法）图 1.3 毫米波与摄像头融合的目标检测系统流程图文献[30-32]先预先处理雷达数据，排除虚假目标，再利用传感器安装位置关空匹配模型；根据雷达检测结果在图像上框定感兴趣区域，由滑窗等手段提
（图片源自：Multi-view 3D Object Detection Network forAutonomous Driving）图 1.4 MV3D 网络结构示意图多视图三维检测网络由两部分组成：三维 RPN 和基于 RPN 的融合网络。在 3 维RPN 网络部分，利用卷积层分别从鸟瞰图（BV）和前视图（FV）提取点云特征，并在鸟瞰图分支利用鸟瞰视角的点云产生高度精确的 3D 候选框，然后将特征投射回BV 和 FV 以及图像的特征层，最后融合 3 个分支的特征。通过这种多视图的编码方案，能够获得对稀疏 3D 点云更有效和紧凑的表达。在工业界，百度自动驾驶平台 Apollo 2.0 也采用激光雷达为主要的感知传感器感知框架如图 1.5。激光雷达点云高清地图提取感兴趣区域
【参考文献】：
期刊论文
[1]基于单目视觉车辆姿态角估计和逆透视变换的车距测量[J]. 刘军,后士浩,张凯,晏晓娟. 农业工程学报. 2018(13)
[2]一种基于消隐点的单目视觉车辆测距方法[J]. 关闯,魏朗,乔洁,杨炜. 电子测量技术. 2018(11)
[3]基于深度学习的自动驾驶技术综述[J]. 张新钰,高洪波,赵建辉,周沫. 清华大学学报(自然科学版). 2018(04)
[4]视觉与激光点云融合的深度图像获取方法[J]. 王东敏,彭永胜,李永乐. 军事交通学院学报. 2017(10)
[5]中国汽车工程学术研究综述·2017[J]. 《中国公路学报》编辑部. 中国公路学报. 2017(06)
[6]基于多传感器融合的前方车辆识别方法研究[J]. 王战古,邵金菊,高松,孙亮,于杰,谭德荣. 广西大学学报(自然科学版). 2017(02)
[7]多传感器信息融合中时间同步方法的研究[J]. 刘钊,戴斌,刘大学. 计算机仿真. 2009(06)
博士论文
[1]车辆自适应巡航跟随控制技术研究[D]. 马国成.北京理工大学 2014
硕士论文
[1]基于毫米波雷达与单目视觉融合的无人机自主避障系统[D]. 陈洪攀.西安电子科技大学 2018
[2]基于雷达与视觉传感器信息融合的车辆检测方法研究[D]. 张中昀.江苏大学 2018
[3]高速公路场景下基于深度学习的车辆目标检测与应用研究[D]. 张向清.长安大学 2018
[4]基于卷积神经网络的车辆检测与车型辨识算法研究[D]. 陈树东.电子科技大学 2018
[5]基于车载摄像机的前方车辆测距测速方法研究[D]. 张亚男.大连海事大学 2018
[6]基于汽车雷达和摄像头信息融合的目标检测方法研究[D]. 向滨宏.重庆大学 2017
[7]基于单目视觉的智能车前方障碍物识别与测距[D]. 袁雨桐.吉林大学 2016
[8]汽车前方车辆识别的雷达和视觉信息融合算法开发[D]. 陈晓伟.吉林大学 2016
[9]基于雷达和机器视觉融合的前方车辆障碍物检测[D]. 那田.合肥工业大学 2016
[10]基于测距雷达和机器视觉数据融合的前方车辆检测系统[D]. 庞成.东南大学 2015
本文编号：3619229
【文章来源】：重庆理工大学重庆市
【文章页数】：84 页
【学位级别】：硕士
【部分图文】：
PointNet架构
（实线箭头表示流程，虚线箭头表示方法）图 1.3 毫米波与摄像头融合的目标检测系统流程图文献[30-32]先预先处理雷达数据，排除虚假目标，再利用传感器安装位置关空匹配模型；根据雷达检测结果在图像上框定感兴趣区域，由滑窗等手段提
（图片源自：Multi-view 3D Object Detection Network forAutonomous Driving）图 1.4 MV3D 网络结构示意图多视图三维检测网络由两部分组成：三维 RPN 和基于 RPN 的融合网络。在 3 维RPN 网络部分，利用卷积层分别从鸟瞰图（BV）和前视图（FV）提取点云特征，并在鸟瞰图分支利用鸟瞰视角的点云产生高度精确的 3D 候选框，然后将特征投射回BV 和 FV 以及图像的特征层，最后融合 3 个分支的特征。通过这种多视图的编码方案，能够获得对稀疏 3D 点云更有效和紧凑的表达。在工业界，百度自动驾驶平台 Apollo 2.0 也采用激光雷达为主要的感知传感器感知框架如图 1.5。激光雷达点云高清地图提取感兴趣区域
【参考文献】：
期刊论文
[1]基于单目视觉车辆姿态角估计和逆透视变换的车距测量[J]. 刘军,后士浩,张凯,晏晓娟. 农业工程学报. 2018(13)
[2]一种基于消隐点的单目视觉车辆测距方法[J]. 关闯,魏朗,乔洁,杨炜. 电子测量技术. 2018(11)
[3]基于深度学习的自动驾驶技术综述[J]. 张新钰,高洪波,赵建辉,周沫. 清华大学学报(自然科学版). 2018(04)
[4]视觉与激光点云融合的深度图像获取方法[J]. 王东敏,彭永胜,李永乐. 军事交通学院学报. 2017(10)
[5]中国汽车工程学术研究综述·2017[J]. 《中国公路学报》编辑部. 中国公路学报. 2017(06)
[6]基于多传感器融合的前方车辆识别方法研究[J]. 王战古,邵金菊,高松,孙亮,于杰,谭德荣. 广西大学学报(自然科学版). 2017(02)
[7]多传感器信息融合中时间同步方法的研究[J]. 刘钊,戴斌,刘大学. 计算机仿真. 2009(06)
博士论文
[1]车辆自适应巡航跟随控制技术研究[D]. 马国成.北京理工大学 2014
硕士论文
[1]基于毫米波雷达与单目视觉融合的无人机自主避障系统[D]. 陈洪攀.西安电子科技大学 2018
[2]基于雷达与视觉传感器信息融合的车辆检测方法研究[D]. 张中昀.江苏大学 2018
[3]高速公路场景下基于深度学习的车辆目标检测与应用研究[D]. 张向清.长安大学 2018
[4]基于卷积神经网络的车辆检测与车型辨识算法研究[D]. 陈树东.电子科技大学 2018
[5]基于车载摄像机的前方车辆测距测速方法研究[D]. 张亚男.大连海事大学 2018
[6]基于汽车雷达和摄像头信息融合的目标检测方法研究[D]. 向滨宏.重庆大学 2017
[7]基于单目视觉的智能车前方障碍物识别与测距[D]. 袁雨桐.吉林大学 2016
[8]汽车前方车辆识别的雷达和视觉信息融合算法开发[D]. 陈晓伟.吉林大学 2016
[9]基于雷达和机器视觉融合的前方车辆障碍物检测[D]. 那田.合肥工业大学 2016
[10]基于测距雷达和机器视觉数据融合的前方车辆检测系统[D]. 庞成.东南大学 2015
本文编号：3619229
本文链接：https://www.wllwen.com/kejilunwen/qiche/3619229.html
