基于视觉的驾驶员视点提取系统关键技术研究
发布时间：2020-12-25 09:04
智能驾驶技术是未来交通工具的发展方向,具有广泛的应用前景。本文结合计算机视觉技术,提出了一个智能驾驶辅助系统,用来实时获取驾驶员注意视点,在具有潜在危险的情况下提出预警,以此提高驾驶安全系数。本文围绕该智能驾驶辅助系统,进行了几个关键技术问题的研究,主要包括三个方面:RGB-D（彩色以及深度相机）相机系统的标定,以及从彩色图像直接到深度图像的像素对准问题;没有重复视野的两个车载相机的相对姿势估计的问题;基于RGB-D相机通过单次学习的动作识别问题。在本文的驾驶辅助系统中,使用了RGB-D相机。为了提高探测精度,改善辅助驾驶系统的性能,需要对RGB-D相机系统进行标定。本文从普通相机的透视投影模型推广到红外相机,建立了彩色相机、红外相机、深度相机的相机系统模型。首先利用传统的相机标定方法分别标定彩色相机和红外相机的内部参数以及外部参数,然后结合深度相机模型标定深度相机的深度参数。实验结果证明,我们的标定达到了较高的精度。但是,在RGB-D相机系统中还存在一个问题,由于彩色图像比深度图像具有更多的纹理信息,因此我们通常都是在彩色图像上寻找到兴趣点,然后希望获得其对应的深度信息。然而目前Ki...
【文章来源】：中国科学院大学(中国科学院上海技术物理研究所)上海市
【文章页数】：117 页
【学位级别】：博士
【文章目录】：
致谢
摘要
ABSTRACT
第1章 引言
1.1 研究背景与意义
1.2 国际上的研究现状
1.3 应用背景
1.4 本文研究内容
第2章 搭建智能驾驶辅助系统
2.1 研究背景
2.2 驾驶员注视点检测系统
2.2.1 系统构成
2.2.2 实现方法与效果
2.3 系统标定
2.4 误差分析与可行性分析
2.5 小结
第3章 标定RGB-D相机
3.1 针孔相机模型
3.2 相机内部参数
3.2.1 中心点偏移
3.2.2 图像传感器特性
3.2.3 镜头的径向畸变
3.3 相机外部参数
3.3.1 直接映射（世界坐标系到相机坐标系）
3.3.2 非直接映射（相机坐标系到世界坐标系）
3.4 立体视觉系统
3.5 Kinect相机模型
3.5.1 红外相机以及红外图像
3.5.2 彩色相机以及彩色图像
3.5.3 深度图像
3.5.4 深度数据的分辨率
3.5.5 红外图像和深度图像之间的偏移
3.5.6 Kinect的几何模型
3.6 Kinect标定实验及结果
3.6.1 标定彩色相机与红外相机的内部参数
3.6.2 标定彩色相机与红外相机的外部参数
3.6.3 标定深度相机的深度参数
第4章 彩色图像到深度图像的像素对准
4.1 研究背景
4.2 算法流程
4.3 实验以及实验结果
4.4 小结
第5章 估计固定在标定板上的激光器的姿势
5.1 符号标记
5.2 问题定义
5.3 激光器参数的计算
5.4 实验
5.5 精度分析
5.6 小结
第6章 无重复视野相机的姿势估计
6.1 背景介绍
6.2 相关研究
6.2.1 标定具有重复视野的相机的相对姿势
6.2.2 标定没有重复视野的相机的相对姿势
6.2.3 标定无重复视野相机的最新方法
6.3 数学工具
6.3.1 用四元数表示旋转矩阵
6.3.2 Levenberg-Marquardt非线性优化方法
6.3.3 Plücker坐标系
6.4 共面约束算法
6.4.1 数学模型
6.4.2 算法流程
6.4.3 共面条件
6.4.4 相对姿势估计
6.4.5 参数的全局优化
6.5 共线约束算法
6.5.1 数学模型
6.5.2 算法流程
6.5.3 相对姿势的线性估计
6.5.4 相对姿势的非线性估计
6.5.5 参数的全局优化
6.6 仿真实验
6.6.1 不同数据量的影响
6.6.2 不同噪声水平的影响
6.6.3 不同相机配置的影响
6.7 实际实验
6.7.1 将基于激光束的标定方法用于标定车载相机系统
6.7.2 实际环境下的比较实验
6.7.3 对光照条件的鲁棒性实验
6.8 小结
第7章 基于RGB-D相机的通过单次学习的动作识别
7.1 研究背景
7.2 相关工作
7.3 提取初始姿势
7.3.1 数据描述
7.3.2 提取静态姿势
7.3.3 自然姿势
7.4 视频分割
7.5 基于关键姿势的动作识别
7.5.1 对关键姿势的时间聚焦
7.5.2 在关键姿势内部的空间聚焦
7.5.3 匹配关键姿势
7.6 实验
7.7 小结
第8章 总结与展望
参考文献
作者简介及在学期间发表的学术论文与研究成果
【参考文献】：
期刊论文
[1]基于Kinect的实时人体姿势识别[J]. 刘开余,夏斌. 电子设计工程. 2014(19)
本文编号：2937349
【文章来源】：中国科学院大学(中国科学院上海技术物理研究所)上海市
【文章页数】：117 页
【学位级别】：博士
【文章目录】：
致谢
摘要
ABSTRACT
第1章 引言
1.1 研究背景与意义
1.2 国际上的研究现状
1.3 应用背景
1.4 本文研究内容
第2章 搭建智能驾驶辅助系统
2.1 研究背景
2.2 驾驶员注视点检测系统
2.2.1 系统构成
2.2.2 实现方法与效果
2.3 系统标定
2.4 误差分析与可行性分析
2.5 小结
第3章 标定RGB-D相机
3.1 针孔相机模型
3.2 相机内部参数
3.2.1 中心点偏移
3.2.2 图像传感器特性
3.2.3 镜头的径向畸变
3.3 相机外部参数
3.3.1 直接映射（世界坐标系到相机坐标系）
3.3.2 非直接映射（相机坐标系到世界坐标系）
3.4 立体视觉系统
3.5 Kinect相机模型
3.5.1 红外相机以及红外图像
3.5.2 彩色相机以及彩色图像
3.5.3 深度图像
3.5.4 深度数据的分辨率
3.5.5 红外图像和深度图像之间的偏移
3.5.6 Kinect的几何模型
3.6 Kinect标定实验及结果
3.6.1 标定彩色相机与红外相机的内部参数
3.6.2 标定彩色相机与红外相机的外部参数
3.6.3 标定深度相机的深度参数
第4章 彩色图像到深度图像的像素对准
4.1 研究背景
4.2 算法流程
4.3 实验以及实验结果
4.4 小结
第5章 估计固定在标定板上的激光器的姿势
5.1 符号标记
5.2 问题定义
5.3 激光器参数的计算
5.4 实验
5.5 精度分析
5.6 小结
第6章 无重复视野相机的姿势估计
6.1 背景介绍
6.2 相关研究
6.2.1 标定具有重复视野的相机的相对姿势
6.2.2 标定没有重复视野的相机的相对姿势
6.2.3 标定无重复视野相机的最新方法
6.3 数学工具
6.3.1 用四元数表示旋转矩阵
6.3.2 Levenberg-Marquardt非线性优化方法
6.3.3 Plücker坐标系
6.4 共面约束算法
6.4.1 数学模型
6.4.2 算法流程
6.4.3 共面条件
6.4.4 相对姿势估计
6.4.5 参数的全局优化
6.5 共线约束算法
6.5.1 数学模型
6.5.2 算法流程
6.5.3 相对姿势的线性估计
6.5.4 相对姿势的非线性估计
6.5.5 参数的全局优化
6.6 仿真实验
6.6.1 不同数据量的影响
6.6.2 不同噪声水平的影响
6.6.3 不同相机配置的影响
6.7 实际实验
6.7.1 将基于激光束的标定方法用于标定车载相机系统
6.7.2 实际环境下的比较实验
6.7.3 对光照条件的鲁棒性实验
6.8 小结
第7章 基于RGB-D相机的通过单次学习的动作识别
7.1 研究背景
7.2 相关工作
7.3 提取初始姿势
7.3.1 数据描述
7.3.2 提取静态姿势
7.3.3 自然姿势
7.4 视频分割
7.5 基于关键姿势的动作识别
7.5.1 对关键姿势的时间聚焦
7.5.2 在关键姿势内部的空间聚焦
7.5.3 匹配关键姿势
7.6 实验
7.7 小结
第8章 总结与展望
参考文献
作者简介及在学期间发表的学术论文与研究成果
【参考文献】：
期刊论文
[1]基于Kinect的实时人体姿势识别[J]. 刘开余,夏斌. 电子设计工程. 2014(19)
本文编号：2937349
本文链接：https://www.wllwen.com/shoufeilunwen/xxkjbs/2937349.html
