面向视障出行辅助的视觉感知技术研究
发布时间：2022-08-02 11:58
在我国,包括盲人和低视力人士在内的视力障碍者是一个庞大的群体,由于获取环境空间信息的能力极其有限,他们在日常出行、工作、学习及生活中会遇到各种困难。本文着眼于视障人士的出行难题,基于视障辅助智能设备,利用计算机视觉的技术手段,创新性地提出了面向视障辅助的视觉感知方法,进而为视障辅助系统的可靠、实时和便携等关键性能提供重要的技术支撑。在视障出行辅助的视觉感知技术中,视觉定位和交通路口场景感知是两个重要且亟待解决的问题。视障辅助中的视觉定位具有大尺度范围、长时间跨度、相机可穿戴和输入图像离散的特点,研究界尚未针对视障辅助中的视觉定位问题开展研究。现有的交通路口下的场景感知算法较为简单,人行横道和人行道交通灯检测算法无法同时对于不同光照、不同天气、不同角度、不同距离和被遮挡的目标进行实时、准确的检测,无法适应视障辅助实际环境的需要。本文着眼于弥补研究现状中的不足,针对视障辅助感知中的视觉定位问题,基于多模态图像提出多重描述子融合和可学习深度特征两种视觉定位方案;在视障辅助中的交通路口场景识别问题上,提出基于自适应分割和一致性分析算法的人行横道检测以及基于颜色特征机器学习和时空域分析的交通灯检...
【文章页数】：150 页
【学位级别】：博士
【文章目录】：
致谢
摘要
Abstract
1 绪论
1.1 研究背景和意义
1.2 智能视障辅助技术概述
1.3 视觉定位辅助技术现状
1.3.1 视障辅助领域的定位技术
1.3.2 基于图像的视觉定位技术
1.4 交通路口场景感知辅助技术现状
1.4.1斑马线型人行横道的检测
1.4.2 人行道交通灯的检测
1.5 主要研究内容与创新点
2 融合多模态图像多重描述子的视觉辅助定位
2.1 多模态融合定位方法概述
2.2 多模态图像及其描述子
2.2.1 GIST描述子
2.2.2 LDB描述子
2.2.3 BoW描述子
2.2.4 GoogLeNet描述子
2.3 特征检索、融合与匹配
2.3.1 关键位置预测
2.3.2 全路径定位
2.4 实验及结果
2.4.1 算法实现和数据集
2.4.2 关键位置预测功能测试
2.4.3 全路径视觉定位功能测试
2.5 本章小结
3 基于可学习深度特征的视觉定位和场景识别
3.1 可学习的深度图像特征
3.1.1 可学习的特征池化:NetVLAD
3.1.2 深度特征的训练
3.2 基于全景环带相机的视觉定位
3.2.1 全景环带图像的展开
3.2.2 深度特征提取和序列匹配
3.2.3 全景图像描述子性能实验
3.2.4 全景环带定位系统性能实验
3.3 基于多模态图像的分级视觉定位
3.3.1 粗略定位:NetAVLAD与图像检索
3.3.2 精确定位:Dense Desc与几何验证
3.3.3 在线序列匹配
3.3.4 Dual Desc的训练和测试
3.3.5 分级视觉定位系统测试
3.4 基于高效集成网络的视觉定位和场景识别
3.4.1 定位识别集成网络的结构
3.4.2 集成网络的训练和测试
3.4.3 定位识别系统的实验
3.5 本章小结
4 基于自适应分割和一致性分析算法的人行横道检测
4.1 实时斑马线型人行横道检测算法
4.1.1 图像分割和候选区域筛选
4.1.2 候选区域一致性分析
4.2 算法参数优化和性能实验
4.2.1 自适应分割的参数优化
4.2.2 一致性分析的参数优化
4.2.3 算法性能实验
4.3 交互方案和实地实验
4.3.1 辅助视障人士的交互方案
4.3.2 人行横道导航实地测试
4.4 本章小结
5 基于颜色特征和时空域分析的交通灯检测
5.1 实时人行道交通灯检测算法
5.1.1 图像的颜色分割和候选对象筛选
5.1.2 交通灯候选对象的识别
5.1.3 多帧融合的时空域分析
5.2 算法参数优化和性能实验
5.2.1 人行道交通灯数据集
5.2.2 算法参数的优化
5.2.3 算法性能实验
5.3 交通路口辅助导航
5.3.1 辅助导航方法
5.3.2 辅助导航实验
5.4 本章小结
6 总结与展望
6.1 本文工作总结
6.2 未来研究展望
参考文献
作者简历及攻读博士学位期间主要的研究成果
【参考文献】：
硕士论文
[1]非限制条件下的人脸识别技术研究及其在盲人辅助中的应用[D]. 赵向东.浙江大学 2018
[2]基于RGB-D相机的视障人士纸币识别[D]. 张豫.浙江大学 2018
本文编号：3668481
【文章页数】：150 页
【学位级别】：博士
【文章目录】：
致谢
摘要
Abstract
1 绪论
1.1 研究背景和意义
1.2 智能视障辅助技术概述
1.3 视觉定位辅助技术现状
1.3.1 视障辅助领域的定位技术
1.3.2 基于图像的视觉定位技术
1.4 交通路口场景感知辅助技术现状
1.4.1斑马线型人行横道的检测
1.4.2 人行道交通灯的检测
1.5 主要研究内容与创新点
2 融合多模态图像多重描述子的视觉辅助定位
2.1 多模态融合定位方法概述
2.2 多模态图像及其描述子
2.2.1 GIST描述子
2.2.2 LDB描述子
2.2.3 BoW描述子
2.2.4 GoogLeNet描述子
2.3 特征检索、融合与匹配
2.3.1 关键位置预测
2.3.2 全路径定位
2.4 实验及结果
2.4.1 算法实现和数据集
2.4.2 关键位置预测功能测试
2.4.3 全路径视觉定位功能测试
2.5 本章小结
3 基于可学习深度特征的视觉定位和场景识别
3.1 可学习的深度图像特征
3.1.1 可学习的特征池化:NetVLAD
3.1.2 深度特征的训练
3.2 基于全景环带相机的视觉定位
3.2.1 全景环带图像的展开
3.2.2 深度特征提取和序列匹配
3.2.3 全景图像描述子性能实验
3.2.4 全景环带定位系统性能实验
3.3 基于多模态图像的分级视觉定位
3.3.1 粗略定位:NetAVLAD与图像检索
3.3.2 精确定位:Dense Desc与几何验证
3.3.3 在线序列匹配
3.3.4 Dual Desc的训练和测试
3.3.5 分级视觉定位系统测试
3.4 基于高效集成网络的视觉定位和场景识别
3.4.1 定位识别集成网络的结构
3.4.2 集成网络的训练和测试
3.4.3 定位识别系统的实验
3.5 本章小结
4 基于自适应分割和一致性分析算法的人行横道检测
4.1 实时斑马线型人行横道检测算法
4.1.1 图像分割和候选区域筛选
4.1.2 候选区域一致性分析
4.2 算法参数优化和性能实验
4.2.1 自适应分割的参数优化
4.2.2 一致性分析的参数优化
4.2.3 算法性能实验
4.3 交互方案和实地实验
4.3.1 辅助视障人士的交互方案
4.3.2 人行横道导航实地测试
4.4 本章小结
5 基于颜色特征和时空域分析的交通灯检测
5.1 实时人行道交通灯检测算法
5.1.1 图像的颜色分割和候选对象筛选
5.1.2 交通灯候选对象的识别
5.1.3 多帧融合的时空域分析
5.2 算法参数优化和性能实验
5.2.1 人行道交通灯数据集
5.2.2 算法参数的优化
5.2.3 算法性能实验
5.3 交通路口辅助导航
5.3.1 辅助导航方法
5.3.2 辅助导航实验
5.4 本章小结
6 总结与展望
6.1 本文工作总结
6.2 未来研究展望
参考文献
作者简历及攻读博士学位期间主要的研究成果
【参考文献】：
硕士论文
[1]非限制条件下的人脸识别技术研究及其在盲人辅助中的应用[D]. 赵向东.浙江大学 2018
[2]基于RGB-D相机的视障人士纸币识别[D]. 张豫.浙江大学 2018
本文编号：3668481
本文链接：https://www.wllwen.com/yixuelunwen/swyx/3668481.html
