用于智能导盲系统的室内目标检测方法研究

发布时间：2022-02-11 22:35

　　近年来,计算机视觉技术作为人工智能领域的重要技术,取得了长足的进步,在目标识别、语义分割、实例分割和目标检测等多个方向都有众多出彩的技术出现,而计算机视觉技术的落地和应用也是重要的研究方向之一。现如今,各种计算机视觉技术已经遍布人们周围,比如人脸支付、行人检测、文字识别和机器人及无人机平台上的应用等。在导盲技术领域,计算机视觉技术刚好可以填补盲人的视力缺陷。2010以后,RGB-D传感器的出现为彩色图像增加了深度信息。本课题主要研究融合RGB-D技术与目标检测技术对室内目标进行检测和定位的理论和实现。首先,本文研究了室内目标检测平台的搭建与实现:第一步构建佩戴式终端,作用是采集图像和语音数据以及与用户进行语音交互;第二步构建服务端,在服务端上运行目标检测相关程序,并实现了前向障碍物的检测与提示和物体搜索及定向提示两大功能;最后一步建立服务端与终端的通信,而且为了保证通信的同步,还设置了多个标志字符。其次,对基于深度图像的目标测距与测角方法进行了研究。针对原始深度图中存在空洞的现象,采用了一种彩色图像与深度图像融合的深度图修复算法;为了细化修复后的深度图像,采用了一种引导式滤波器对深度图... 

【文章来源】：哈尔滨工业大学黑龙江省211工程院校985工程院校

【文章页数】：71 页

【学位级别】：硕士

【部分图文】：

终端实物照片

?跏蓟??ㄉ窬??缒Ｐ偷既牒头?穸说钠舳?Ｔ谄舳??衿魇?需要先进行模型的导入，以减少后期目标检测所需的时间，此过程大概需要十秒左右。接着开启服务端，阻塞式等待终端的连接。当终端连接上之后，服务端会将连接人信息打印出来，然后等待终端发送图片。接收到RGB图和相应的深度图之后，服务端开始进行图像处理。图像处理包括深度图增强和目标检测，首先增强深度图像，然后使用目标检测模型对彩色图像中的目标进行检测，接着使用深度图选择优选目标，最后计算优选目标的方位角并转为语音信息发送回终端。打印的信息如图2-5所示。图2-5前向障碍物的检测与提示运行信息（2）物体搜索及定向提示在一个熟悉的室内，在没有人帮助的情况下，盲人找寻某样物体尚有可能碰到困难，更不用说在陌生的室内了。所以，平台利用目标检测技术设计了物体搜索及定向提示功能，旨在帮助盲人寻找物体。物体搜索及定向提示流程图如图2-7所示。和前向障碍物检测时一样，物体搜索及定向提示也需要先进行系统初始化。在系统初始化完成后，首先持续检测用户是否发送了语音指令，当服务端接收到语音信息后，先进行语音识别，将语音指令转换成文字信息，然后经过一个关键信息提取算法得到相关的指令及物体信息。在检测语音指令的同时，终端会持续向服务端发送图片，服务端进行目标检测，然后把结果保存下来。图像和语音都处理完成之后，进行信息匹配：若没有匹配到相关的物体，则提示用户视野范围内没有要找的物体，并指示用户旋转视角，如果在旋转五次之后仍未匹配到相关物体，则提示用户没有要找的物体；若匹配到多个相关物体，则通过一个优选算法选出最佳目标。在目标选定之后，对目标进行定位，然后转换成语音信息传达给用户。打印的信息如图2-7所示。（3）近

哈尔滨工业大学硕士学位论文13开始导入神经网络模型打开TCP服务器端终端是否连接？等待连接否接收图片并保存用户是否下达语音指令？检测正前方所有目标接收语音并保存语音识别并提取关键信息是信息匹配，视野内是否有所找的目标？计算目标距离和方位角转换成语音信息发回终端是提示用户旋转视角旋转次数超过五次？提示用户周围没有目标等待指令否是否是否图2-6物体搜索及定向提示流程图(a)指令中包含多个目标(b)指令识别不清(c)寻找到目标(d)五次旋转视角后未找到目标图2-7物体搜索及定向提示运行信息

【参考文献】：
期刊论文
[1]基于深度图像信息的室内导盲系统[J]. 李定航.  科学技术创新. 2019(09)
[2]多方向红外测距新型智能导盲杖[J]. 马宏平,蒋励,宋竹青,马彦鹏,王风丽.  光学仪器. 2012(05)
[3]电子导盲仪的发展现状与趋势[J]. 王丽丽.  甘肃科技. 2012(03)

硕士论文
[1]基于RGB-D的室内电子导盲系统研究[D]. 吴涛.西安科技大学 2018
[2]基于ARM平台的盲杖硬件系统设计和实现[D]. 孙玉飞.哈尔滨工业大学 2016
[3]基于多信息融合技术的导盲设备研究[D]. 魏世恒.浙江大学 2013
[4]基于RFID射频识别的室内导盲系统的研究[D]. 洪菲.厦门大学 2009



本文编号：3621060