面向机器人抓取任务的视-触觉感知融合系统研究
发布时间：2021-08-25 12:48
当前机器人为实现精细操作都搭载各种各样的感知系统与外界环境进行交互。若各感知系统之间相互独立,将会忽略各模态感知系统之间的信息关联性,导致信息利用不彻底,造成信息的浪费。完成同一任务,将会更加的复杂,最终降低了机器人的智能性。本文以ZED相机和薄膜压力传感器为中心分别搭建视觉感知系统和触觉感知系统两个子系统,采用视-触觉融合的理论,研究机器人抓取任务中的柔性体抓取问题和抓取状态的滑觉检测问题。在柔性体抓取方面,视觉感知系统和触觉感知系统之间采用串行操作。首先视觉感知系统将使用MATLAB标定工具箱进行双目相机的标定和机械臂标定。标定完成后,不采用传统的SIFT算法和早期的深度学习算法,而是使用检测效率更高的YOLOv3算法对ZED相机内置的目标检测模块进行开发,并结合ZED相机的深度信息处理模块进行目标的三维坐标解算,完成ZED相机的二次开发。得到物体的坐标后,触觉感知系统将调用预采集的触觉信息库,输出合适的握力,控制机械爪进行抓握。在滑觉检测方面,视觉感知系统和触觉感知系统之间采用并行操作。抓取过程与基于视-触觉的柔性体抓取过程一致。在滑觉检测部分,不单独依靠某一系统进行判断,而是综...
【文章来源】：中国科学院大学(中国科学院大学人工智能学院)北京市
【文章页数】：94 页
【学位级别】：硕士
【部分图文】：
图１．２机械臂开门动作实验示意图Ｍ??
面向机器人抓取任务的视－触觉感知融合系统研宄??图１．３瑞典皇家理工学院机器人实验平台丨蚓??Ｆｉｇｕｒｅ?１．３?Ｔｈｅ?ｒｏｂｏｔ?ｅｘｐｅｒｉｍｅｎｔａｌ?ｐｌａｔｆｏｒｍ?ｏｆ?Ｒｏｙａｌ?Ｉｎｓｔｉｔｕｔｅ?ｏｆ?Ｔｅｃｈｎｏｌｏｇｙ?，４４Ｊ??２０１４年，Ｇｕｌｅｒ等人通过视－触觉研究容器内部乘装物体的类别（米、水），??通过触觉传感器获取的触觉信息和相机观察到的视觉信息联合判定物体类别。由??于需要事先建立物体３Ｄ模型，实际应用有限１４５］。??２０１５年，Ｓｔｅｉｎｂａｃｈ等人利用视觉传感器和触觉传感器联合设计了一种图像??－触觉传感器，主要是利用可变性材料的变形特点，由视觉测量变形材料的形变??来估计力的大小［４６］。??２０１７年，福州大学的卢丹灵在研究机械臂抓取问题时，通过背景相减的方??法来给出目标的三维坐标，并使用Ｓｏｂｅｌ算子对物体边缘进行方向估计，最终得??出机械臂抓取的主要方位信息。实验过程中通过设定电机力矩的阈值来判定抓取??状态［４７］。??２０１７年，Ｊ?Ｇｕｏ等人研制出一种视－触觉融合的机械手套，该手套使用主成??分分析（ＰＣＡ）算法建立手传感器分布模型。该手套结合视觉辅助和分布在拇指、??食指和中指的三个传感器可以有效地估计抓取动作。通过自适应压力阈值对物体??进行分类。实验结果显示，基于触觉和视觉传感器融合方法分类的准确率达到??９４％，比两个感知系统单独使用识别率提高１．６－１．７倍［４８】。??２０１８年，ＳＬｕｏ等人提出了一种基于触觉和视觉的织物纹理识别算法一一深??度最大协方差分析。该算法利用深度神经网络对摄像机图像和触觉数据进行学习。??为降低特征的维度和冗余性
第１章绪论??Ｊ视－触觉柔性体抓＇??Ｍ?取实验???＇ｉ?（?１?（?１?＾＾??国内外研究进展视－触觉技术分析—深度学习算法选择＆??１?■??１?Ｌ视－触觉滑觉检测??视觉技术分析?ｆ触觉技术分析??＾??／?ｖ??／?????????ＺＥＤ相机ｊ?［薄膜压力传感器Ｙ??图１．４论文组织结构图??Ｆｉｇｕｒｅ?１．４?Ｏｒｇａｎｉｚａｔｉｏｎ?ｃｈａｒｔ?ｏｆ?ｔｈｅ?ｐａｐｅｒ??本文第一章是绪论部分，首先介绍了视－触觉融合感知系统的研宄背景和意??义，然后分别对视觉感知系统、触觉感知系统、视－触融合感知系统的国内外研宄??现状进行了介绍。本课题使用视－触觉融合感知的方法代替传统单一的视觉感知??系统和触觉感知系统进行抓取任务。??本文第二章将介绍视－触觉感知系统的关键技术分析，主要介绍使用ＺＥＤ相??机和薄膜压力传感器搭建视－触觉感知融合系统的相关技术原理。ＺＥＤ相机是视??觉感知系统获取图像信息的重要媒介，通过对ＺＥＤ相机的成像原理、等进行分??析，可以对整个视觉感知系统进行三维坐标检测的过程有着清晰的把控。薄膜压??力传感器是触觉感知系统进行触觉测量的重要元器件，触觉感知系统平台是根据??薄膜压力传感器的压力与电流变化的原理搭建。??本文第三章介绍视觉感知系统目标检测算法的选择，包括自建数据集的类型??选择与创建、深度学习算法的对比选择，以及应用选择好的算法对ＺＥＤ相机进??行二次开发的流程。通过对比?ＹＯＬＯ?（Ｙｏｕ?Ｏｎｌｙ?Ｌｏｏｋ?Ｏｎｃｅ）、ＳＳＤ?（Ｓｉｎｇｌｅ?Ｓｈｏｔ??ＭｕｌｔｉＢｏｘ?Ｄｅｔｅｃｔｏｒ）、Ｙ０Ｌ０ｖ３算法可以发现Ｙ０Ｌ０
【参考文献】：
期刊论文
[1]电容式柔性触觉传感器设计[J]. 易艺,宋爱国,李会军,冷明鑫,徐波. 传感技术学报. 2019(08)
[2]基于双目视觉的机械手识别、定位、抓取系统研究[J]. 陈立挺,聂晓根. 机电工程. 2019(08)
[3]协作机器人触觉传感装置的设计与碰撞实验[J]. 张秀丽,韩春燕. 北京交通大学学报. 2019(04)
[4]基于改进型抓取质量判断网络的机器人抓取研究[J]. 成超鹏,张莹,牟清萍,张东波,薛亮. 电子测量与仪器学报. 2019(05)
[5]面向小型机器人的超大视场红外立体视觉可行性分析[J]. 陈一超,刘秉琦,黄富瑜. 半导体光电. 2019(02)
[6]基于CNN-LSTM的机器人触觉识别与自适应抓取控制[J]. 惠文珊,李会军,陈萌,宋爱国. 仪器仪表学报. 2019(01)
[7]基于视觉感知的海生物吸纳式水下机器人目标捕获控制[J]. 周浩,姜述强,黄海,万兆亮. 机器人. 2019(02)
[8]基于触觉反馈和表面肌电信号的随机时延夹持器遥操作方法[J]. 章华涛,吴常铖,熊鹏文,宋爱国. 机器人. 2018(04)
[9]一种可感知三维力的新型柔性触觉传感器及滑觉识别算法研究[J]. 毛磊东,黄英,郭小辉,张阳阳,刘平. 传感技术学报. 2018(06)
[10]基于视触融合的机器人操作[J]. 王涛. 人工智能. 2018(03)
博士论文
[1]基于视/触信息的巡视器地形感知方法研究[D]. 白成超.哈尔滨工业大学 2019
[2]基于深度学习的野外巡线系统图像目标检测研究[D]. 王振华.中国地质大学(北京) 2018
[3]可见光遥感图像海面目标自动检测关键技术研究[D]. 徐芳.中国科学院大学(中国科学院长春光学精密机械与物理研究所) 2018
[4]自主移动机器人全向视觉系统研究[D]. 卢惠民.国防科学技术大学 2010
硕士论文
[1]智慧停车系统设计与应用算法研究[D]. 韩朋.河南科技大学 2019
[2]基于Faster RCNN的目标检测系统[D]. 陈怡佳.哈尔滨理工大学 2019
[3]基于深度学习的小样本图像缺陷检测方法研究[D]. 顾小东.哈尔滨工业大学 2019
[4]行车视频中基于深度学习的目标检测[D]. 张芳慧.北京交通大学 2018
[5]番茄智能采摘机构优化设计及试验研究[D]. 汤亚东.河南农业大学 2018
[6]机器人抓取中视觉触觉融合的技术研究[D]. 郭迎达.北方工业大学 2018
[7]教室监控视频中人员异常行为检测研究[D]. 刘冬寅.电子科技大学 2018
[8]基于双目视觉的机械手定位抓取技术的研究[D]. 徐凯.浙江大学 2018
[9]基于视触觉融合的机械手臂目标抓取研究[D]. 卢丹灵.福州大学 2017
[10]机器人双目视觉定位技术研究[D]. 林琳.西安电子科技大学 2009
本文编号：3362144
【文章来源】：中国科学院大学(中国科学院大学人工智能学院)北京市
【文章页数】：94 页
【学位级别】：硕士
【部分图文】：
图１．２机械臂开门动作实验示意图Ｍ??
面向机器人抓取任务的视－触觉感知融合系统研宄??图１．３瑞典皇家理工学院机器人实验平台丨蚓??Ｆｉｇｕｒｅ?１．３?Ｔｈｅ?ｒｏｂｏｔ?ｅｘｐｅｒｉｍｅｎｔａｌ?ｐｌａｔｆｏｒｍ?ｏｆ?Ｒｏｙａｌ?Ｉｎｓｔｉｔｕｔｅ?ｏｆ?Ｔｅｃｈｎｏｌｏｇｙ?，４４Ｊ??２０１４年，Ｇｕｌｅｒ等人通过视－触觉研究容器内部乘装物体的类别（米、水），??通过触觉传感器获取的触觉信息和相机观察到的视觉信息联合判定物体类别。由??于需要事先建立物体３Ｄ模型，实际应用有限１４５］。??２０１５年，Ｓｔｅｉｎｂａｃｈ等人利用视觉传感器和触觉传感器联合设计了一种图像??－触觉传感器，主要是利用可变性材料的变形特点，由视觉测量变形材料的形变??来估计力的大小［４６］。??２０１７年，福州大学的卢丹灵在研究机械臂抓取问题时，通过背景相减的方??法来给出目标的三维坐标，并使用Ｓｏｂｅｌ算子对物体边缘进行方向估计，最终得??出机械臂抓取的主要方位信息。实验过程中通过设定电机力矩的阈值来判定抓取??状态［４７］。??２０１７年，Ｊ?Ｇｕｏ等人研制出一种视－触觉融合的机械手套，该手套使用主成??分分析（ＰＣＡ）算法建立手传感器分布模型。该手套结合视觉辅助和分布在拇指、??食指和中指的三个传感器可以有效地估计抓取动作。通过自适应压力阈值对物体??进行分类。实验结果显示，基于触觉和视觉传感器融合方法分类的准确率达到??９４％，比两个感知系统单独使用识别率提高１．６－１．７倍［４８】。??２０１８年，ＳＬｕｏ等人提出了一种基于触觉和视觉的织物纹理识别算法一一深??度最大协方差分析。该算法利用深度神经网络对摄像机图像和触觉数据进行学习。??为降低特征的维度和冗余性
第１章绪论??Ｊ视－触觉柔性体抓＇??Ｍ?取实验???＇ｉ?（?１?（?１?＾＾??国内外研究进展视－触觉技术分析—深度学习算法选择＆??１?■??１?Ｌ视－触觉滑觉检测??视觉技术分析?ｆ触觉技术分析??＾??／?ｖ??／?????????ＺＥＤ相机ｊ?［薄膜压力传感器Ｙ??图１．４论文组织结构图??Ｆｉｇｕｒｅ?１．４?Ｏｒｇａｎｉｚａｔｉｏｎ?ｃｈａｒｔ?ｏｆ?ｔｈｅ?ｐａｐｅｒ??本文第一章是绪论部分，首先介绍了视－触觉融合感知系统的研宄背景和意??义，然后分别对视觉感知系统、触觉感知系统、视－触融合感知系统的国内外研宄??现状进行了介绍。本课题使用视－触觉融合感知的方法代替传统单一的视觉感知??系统和触觉感知系统进行抓取任务。??本文第二章将介绍视－触觉感知系统的关键技术分析，主要介绍使用ＺＥＤ相??机和薄膜压力传感器搭建视－触觉感知融合系统的相关技术原理。ＺＥＤ相机是视??觉感知系统获取图像信息的重要媒介，通过对ＺＥＤ相机的成像原理、等进行分??析，可以对整个视觉感知系统进行三维坐标检测的过程有着清晰的把控。薄膜压??力传感器是触觉感知系统进行触觉测量的重要元器件，触觉感知系统平台是根据??薄膜压力传感器的压力与电流变化的原理搭建。??本文第三章介绍视觉感知系统目标检测算法的选择，包括自建数据集的类型??选择与创建、深度学习算法的对比选择，以及应用选择好的算法对ＺＥＤ相机进??行二次开发的流程。通过对比?ＹＯＬＯ?（Ｙｏｕ?Ｏｎｌｙ?Ｌｏｏｋ?Ｏｎｃｅ）、ＳＳＤ?（Ｓｉｎｇｌｅ?Ｓｈｏｔ??ＭｕｌｔｉＢｏｘ?Ｄｅｔｅｃｔｏｒ）、Ｙ０Ｌ０ｖ３算法可以发现Ｙ０Ｌ０
【参考文献】：
期刊论文
[1]电容式柔性触觉传感器设计[J]. 易艺,宋爱国,李会军,冷明鑫,徐波. 传感技术学报. 2019(08)
[2]基于双目视觉的机械手识别、定位、抓取系统研究[J]. 陈立挺,聂晓根. 机电工程. 2019(08)
[3]协作机器人触觉传感装置的设计与碰撞实验[J]. 张秀丽,韩春燕. 北京交通大学学报. 2019(04)
[4]基于改进型抓取质量判断网络的机器人抓取研究[J]. 成超鹏,张莹,牟清萍,张东波,薛亮. 电子测量与仪器学报. 2019(05)
[5]面向小型机器人的超大视场红外立体视觉可行性分析[J]. 陈一超,刘秉琦,黄富瑜. 半导体光电. 2019(02)
[6]基于CNN-LSTM的机器人触觉识别与自适应抓取控制[J]. 惠文珊,李会军,陈萌,宋爱国. 仪器仪表学报. 2019(01)
[7]基于视觉感知的海生物吸纳式水下机器人目标捕获控制[J]. 周浩,姜述强,黄海,万兆亮. 机器人. 2019(02)
[8]基于触觉反馈和表面肌电信号的随机时延夹持器遥操作方法[J]. 章华涛,吴常铖,熊鹏文,宋爱国. 机器人. 2018(04)
[9]一种可感知三维力的新型柔性触觉传感器及滑觉识别算法研究[J]. 毛磊东,黄英,郭小辉,张阳阳,刘平. 传感技术学报. 2018(06)
[10]基于视触融合的机器人操作[J]. 王涛. 人工智能. 2018(03)
博士论文
[1]基于视/触信息的巡视器地形感知方法研究[D]. 白成超.哈尔滨工业大学 2019
[2]基于深度学习的野外巡线系统图像目标检测研究[D]. 王振华.中国地质大学(北京) 2018
[3]可见光遥感图像海面目标自动检测关键技术研究[D]. 徐芳.中国科学院大学(中国科学院长春光学精密机械与物理研究所) 2018
[4]自主移动机器人全向视觉系统研究[D]. 卢惠民.国防科学技术大学 2010
硕士论文
[1]智慧停车系统设计与应用算法研究[D]. 韩朋.河南科技大学 2019
[2]基于Faster RCNN的目标检测系统[D]. 陈怡佳.哈尔滨理工大学 2019
[3]基于深度学习的小样本图像缺陷检测方法研究[D]. 顾小东.哈尔滨工业大学 2019
[4]行车视频中基于深度学习的目标检测[D]. 张芳慧.北京交通大学 2018
[5]番茄智能采摘机构优化设计及试验研究[D]. 汤亚东.河南农业大学 2018
[6]机器人抓取中视觉触觉融合的技术研究[D]. 郭迎达.北方工业大学 2018
[7]教室监控视频中人员异常行为检测研究[D]. 刘冬寅.电子科技大学 2018
[8]基于双目视觉的机械手定位抓取技术的研究[D]. 徐凯.浙江大学 2018
[9]基于视触觉融合的机械手臂目标抓取研究[D]. 卢丹灵.福州大学 2017
[10]机器人双目视觉定位技术研究[D]. 林琳.西安电子科技大学 2009
本文编号：3362144
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3362144.html
