基于视觉注意机制的室内服务机器人信息感知与实验研究

发布时间：2020-10-14 01:44

　　 服务机器人是一类能够半自主或全自主地帮助人类解决日常生活任务的机器设备。随着科学技术的进步,以及全球劳动力成本上升、人口老龄化等问题的显现,服务机器人逐渐成为机器人发展的主攻方向之一,受到国内外学术界和产业界的高度重视。《国家中长期科学和技术发展规划纲要(2006-2020)》将智能服务机器人列为未来15年重点技术和重点领域,其发展逐渐呈现智能化、标准化、体系化等特点。目前,在服务机器人系统中,视觉传感器具有信息丰富,使用方便等优点,已经被广泛使用。在机器人视觉图像的基础上,如何滤除干扰,对于有价值信息进行分类存储,并进一步研究和分析图像,使其契合机器人对于环境智能认知与感知的需求,日益成为了服务机器人的重要研究课题之一。本文以服务机器人的信息感知技术及应用研究为核心开展工作,以视觉注意机制研究为主线贯彻始终。从探寻视觉注意机制及模型机理出发,建立了通用视觉注意检测模型。随后以此为基础,选取服务机器人的室内场景识别、定位与导航应用作为载体,从模型建立、图像数据库验证,实际机器人平台测试三方面进行了深入研究。论文具体包括以下内容:(1)在分析视觉注意机制的基础上,深入研究了由底层特征激发的视觉注意机理,提出了基于全局统计特征和中央-周围对比度信息的通用视觉注意模型。其中,全局统计特征方法利用图像熵理论,根据场景图像的复杂度,自适应选择阈值进行图像平滑,在保留图像必要细节的同时,有效合并相似背景区域。随后,基于颜色特征,利用统计方法,在对立色彩空间上进行全局显著值计算,得到了全分辨率场景显著图。中央周围对比度信息模型利用超像素方法,首先将图像分割为不同尺度的小区域,然后综合考虑颜色、空间位置以及纹理特征计算图像显著值。最终输出的显著图对上述两种方法结果进行了融合。三个公共数据集上的十五种方法对比实验结果表明,该方法可以在定性及定量分析中获得更好的显著性检测结果。(2)针对常规场景识别方法在室内结构环境中性能显著下降的问题,构建一种融合全局及显著性区域特征的机器人场景识别框架。该框架利用改进的BoW(Bag-of-Words)模型进行场景判别的同时,引入视觉注意方法提取出场景图像的显著区域,结合改进的BDBN(Bilinear deep belief network)深度学习网络进行场景类别判断。最终,对于全局和显著性区域特征两个模型的结果进行分段判别融合。实际机器人平台及MIT室内场景数据库上的实验结果表明,本方法在MIT室内场景数据库中的准确率优于SP-BoW、R-BoW等对比方法,相较于常规BoW模型,该方法可以有效提高识别准确率10%以上,进一步验证了方法的良好性能。(3)为解决利用自然路标导航的服务机器人应用中存在的路标计算复杂、鲁棒性较弱等缺陷。提出了一种基于显著自然路标的机器人定位和导航框架。框架首先结合图像的频域和空间分布特征,创建了一种频域特性的显著性计算方法。随后,利用该方法生成的视觉显著图,引导特征算子采样聚焦在固定的区域内,从而大幅减少后续特征提取及匹配的计算工作量。最后,将提取到的自然路标特征应用于环境地图的拓扑节点创建中,开展了相关机器人定位和导航的实证研究。实验结果表明,该方法无需进行视觉传感器校准,可以有效引导机器人完成定位和导航任务,具有一定的鲁棒性。(4)针对物体检测算法中常用的滑动窗口方法效率低下的问题,设计了一种基于颜色和超像素特征的似物性采样技术物体区域筛选方法。在利用显著性计算方法得到场景图像显著图的同时,利用单次细化骨架提取方法进行图像的粗分割,并用模糊C均值聚类方法进行优化,得到更佳的分割结果。随后结合场景图像显著图,以区域的平均显著度为依据,实现对于显著区域的有效分割。结合图像的超像素特征,设计了最大密度值聚类和层次分组策略方法进一步提取图像中的可能物体区域。实验表明,该模型可以反映出图像的语义特征,得到更好的区域分割效果。(5)从友好交互的角度出发,提出了一种基于非精确地图的人机交互式导航方法。运行过程中,要求用户预先给出目标物体和大致的导航路线。目标物体识别阶段,视觉系统利用颜色和图像超像素特征筛选出图像中的可能物体区域,用于后续的目标物体识别。相较于在整幅图片上应用的滑动窗口检测技术,该方法可以大大减少窗口数量,提升计算效率。导航阶段引入GMS算法来加速和优化特征匹配,并将结果匹配结果用于引导机器人的转向,结合测距传感器来辅助机器人进行避障运行。相较于传统机器人地图导航方式,该人机交互式导航框架具有简单易用、成本低廉等特点,能够有效地引导机器人在环境中顺利运行。
【学位单位】：南京理工大学
【学位级别】：博士
【学位年份】：2018
【中图分类】：TP391.41;TP242
【部分图文】：

它通常需要具备更高的智能来在非结构化、非确定性的环境中自主完成任务。??目前，在珠三角乃至全国的机器人行业版图中，工业机器人是绝对主角，服务机器人尚??处起步阶段。服务机器人可以分为如图１．?１所示的家用服务和专业服务两类，本文重点??关注家用服务类机器人。相较于工业机器人的激烈竞争，服务机器人领域还可被视作“蓝??海”，各国均处于起步阶段，根据易观智库的预测，２０１５年中国服务机器人市场规模大??约在８２亿元左右，２０１６年将增长至１４０亿元左右，而２０１７年市场规模将突破２００亿??元。服务机器人的潜力巨大。????助老助残机器人??谈釭机器人??，，ｉ，ｖ?扩现机器人??吸尘机器人??教育娱乐机器人??ｒｗ￣ｉ?＾???戈一??ａ！?！??ｈＡ－Ｊ?眹疗机器人??反恐机器人??＇午：川机器人??科学々察机器人??救拨机器人??图１．１服务机器人分类??得益于计算处理技术、人工智能、传感技术、互联网技术的发展，服务机器人在最??近二十年得到了突飞猛进的发展。服务机器人由于其工作场所、服务对象以及从事任务??的特性，其设计技术要求和其他类机器人有着很多不同。同时，与工业机器人相对固定??的应用环境不同

计划通过该战略让２００９年仅为１０％的世界机器人市场占有率到２０１８年提升至２０％。??在美国和欧洲，机器人研究人员致力于改进机器人的智能，赋予它们学习的能力。根据??上述策略，国外在这一领域己有多种产品，例如，图１．２所示的德国波恩大学开发的??Ｃｏｓｅｒｏ机器人，可以在室内简单环境中自主导航，并可以帮助用户拿取一些小型物品。??富士通公司开发的博物馆迎宾机器人Ｅｎｏｎ可通过语音、手势、触摸屏等途径与人交互。??莫斯科技术学院主导开发的Ａｌａｎｔｉｍ服务机器人能够在固定的博物馆环境中引导游客进??行游览。国内对于服务机器人在家庭中的应用研究主要还是以陪护机器人为代表，目前??处于原型机研究阶段，以上海世博会展示的家用监控机器人，南京国产护理机器人为代??表。针对助老的服务机器人分为四类：行动辅助类、操作辅助类、信息辅助类和环境辅??助类。上海世博会的沪上生态家里的家居监控机器人“灵灵”，能够接收用户通过手机、??电话等方式发出的指令，不折不扣的完成任务。通过专业的网络视频通信技术，实现了??移动、监控、保洁、控制家电于一体。??湖酬??Ｃｏｓｅｒｏ抓取食物?“灵灵”家庭服务?Ｅｎｏｎ迎宾?Ａｌａｎｔｉｍ导览??图１．２典型移动服务机器人实例??目前世界上至少有４８个国家在发展机器人，其中２５个国家己涉足服务型机器人开??发。发展处于前列的国家中，西方国家以美国、德国和法国为代表，亚洲以日本和韩国??为代表。就中国而言

们不但浪费了计算和存储资源，还影响了认知系统的分类和识别效果。??人类视觉信息加工过程中使用的是一种称为视觉注意的心理调节机制１１１］，它能够对??有限的信息加工资源进行分配，使得感知具备选择能力。如图１．３所示为人类观察一副??图像时候的视点转移示意，可以看出人类在观察环境时候并不是利用了所有的图像信息，??而是有优先级的转移视点，从而抓住重要的环境信息。因此，如果将视觉注意机制引入??到机器人的视觉处理系统中，针对服务机器人的信息感知需求，设计出适合的视觉注意??模型，通过模仿人类视觉特征，使得机器人视觉处理系统可以自动过滤掉图像中的海量??无关信息，将计算资源优先分配给那些容易引起观察者注意的区域，这样必将极大的提??高现有图像处理分析方法的工作效率。??另一方面，移动机器人导航问题作为服务机器人信息感知的重要应用，一直是机器??人专家们研宄的热点。近年来，随着视觉技术的发展，基于视觉的机器人导航受到越来??越多的重视。服务机器人处于非结构化环境中
【相似文献】

相关期刊论文 前10条

1 邓怡辰;李宇洁;张亚南;宋强;;无轨服务型机器人的设计[J];电脑知识与技术;2018年33期

2 宋承秀;刘凯;;机器人视觉检测在工业中的应用探讨[J];汽车实用技术;2019年07期

3 孔佐君;;浅谈高职院校机器人技术课程教学的创新实践[J];现代职业教育;2016年30期

4 华永明;杨春玉;;机器人视觉系统在立体编织自动铺纱过程中的应用研究[J];玻璃纤维;2011年01期

5 小平;机器人视觉系统[J];光机电信息;2002年03期

6 黎亚龙;;一种用小型计算机实现的机器人视觉系统[J];中南矿冶学院学报;1987年06期

7 范伟;李严;;手一眼式机器人视觉系统物像关系的初步研究[J];佳木斯工学院学报;1988年04期

8 范伟;李严;;机器人视觉系统[J];佳木斯工学院学报;1989年03期

9 刘晨;;基于机器人视觉系统的人脸检测技术研究[J];电子设计工程;2019年05期

10 曲豪;张栋梁;;基于三目视觉标定的机器人精确移载视觉系统[J];组合机床与自动化加工技术;2017年11期

相关博士学位论文 前7条

1 牛杰;基于视觉注意机制的室内服务机器人信息感知与实验研究[D];南京理工大学;2018年

2 郭小辉;主从手映射下的机器人柔性电子皮肤全程感知方法研究[D];合肥工业大学;2018年

3 徐燕;仿变色龙感知的自主机器人应急自救策略规划研究[D];哈尔滨工程大学;2017年

4 张健;220kV/330kV高压带电清扫机器人视觉系统的研究[D];上海交通大学;2009年

5 王海青;黄瓜收获机器人视觉系统的研究[D];南京农业大学;2012年

6 王勇;棉花收获机器人视觉系统的研究[D];南京农业大学;2007年

7 陈浩耀;面向多机器人编队的基于视觉定位系统研究[D];中国科学技术大学;2009年

相关硕士学位论文 前10条

1 叶瑞;基于嵌入式GPU的智能服务机器人视觉系统软件设计[D];浙江工业大学;2019年

2 丁圣;基于深度学习算法的NAO机器人目标识别与跟踪[D];武汉理工大学;2018年

3 刘毅;基于NAO机器人与无人机的空地协同系统研究及应用[D];宁夏大学;2018年

4 袁泉;基于类人机器人的双目测距系统的研究[D];昆明理工大学;2018年

5 汪品;基于视觉注意机制的家庭服务机器人目标搜寻方法研究[D];山东大学;2018年

6 王鹏飞;医药灌装封口机器人视觉定位技术研究[D];湖南大学;2018年

7 亓振亿;面向服务机器人的行人检测方法研究及实现[D];山东大学;2018年

8 李帅先;钢面墙表面作业机器人控制系统的设计[D];重庆交通大学;2018年

9 张飞;水泥包装袋装车机器人研发[D];北京石油化工学院;2018年

10 翟佳星;餐饮机器人样机系统研究[D];长安大学;2018年

本文编号：2839994