基于视觉手势交互的协作机器人示教系统研究
发布时间：2021-01-15 08:52
机器人演示编程是机器人技术的最新趋势,通过观察人类演示的任务将新技能传递给机器人。在多变环境下解决机器人示教编程问题是制约机器人进一步发展的关键。针对传统工业机器人编程部署时间长、编程效率低下,无法适应于新环境、灵活性差,以及对操作人员示教编程技能要求较高,机器人程序开发周期长等问题,本文设计了一种基于视觉手势交互的协作机器人示教系统。该系统使用Kinect2深度相机,通过识别工作空间下的指尖运动轨迹和静态手势信号与机器人进行交互。通过UR5机械臂末端记号笔完成轨迹示教的任务,验证了本系统的灵活性和效率。主要研究内容包括:（1）本文以UR5协作机器人为研究对象,对整个机器人示教系统的硬件组成和软件算法框架进行了概述。对Kinect2深度和彩色相机进行内参标定,通过TF坐标转换功能包发布机器人的手眼标定关系。（2）基于混合高斯背景差分和重心距离算法,完成运动指尖检测的任务。对混合高斯背景差分算法和帧差法提取手部前景图像进行仿真比较。对图像平滑滤波、阈值分割以及形态学算法的基本原理进行概述。研究了重心距离法进行指尖点检测的图像处理算法,以及使用凸包K曲率算法剔除非指尖点。（3）基于YCbC...
【文章来源】：长春工业大学吉林省
【文章页数】：97 页
【学位级别】：硕士
【部分图文】：
传统工业机器人与协作型机器人工作方式对比
第1章绪论3（a）ABBYumi双臂协作机器人（b）Baxter双臂协作机器人（c）KUKALBRIIWA协作机器人（d）UR5协作机器人图1.2常见的协作型机械臂具体而言，传统的工业机器人可以连续执行其编程的任务，具有较高的准确性，速度和可重复性。但是，它们缺乏通用性，无法有效地适应动态工作环境或生产变化，因此不适合小批量生产。相反，在动态和复杂的环境中，工人具有与生俱来的灵活性和适应突发事件的能力，并具有较强的决策能力。传统机器人与协作机器人的对比如表1-1所示：表1-1传统工业机器人与协作型机器人对比传统工业机器人协作型机器人固定安装方式灵活安装方式进行重复性工作，很少改变可进行频繁任务变更引导和离线编程方式在线编程、离线编程和多模态交互编程只在编程期间与工人进行交互频繁与工人进行交互工人与机器人之间通过安全栅栏分离共享工作空间无法安全的与工人进行交互安全交互只有大批量生产才能获益小批量生产也能获益
第1章绪论41.2.1人机交互国内外研究现状人机交互（human-robotinteraction,HRI）是致力于理解，设计和评估人或与人一起使用的机器人系统的研究领域[9]。近年来，人机交互的概念引起了许多研究者的兴趣，人机交互允许工人和机器人在共享的制造环境中一起工作。如果人与机器人之间建立了有效的沟通渠道，则人与机器人之间可以协同工作，从而摆脱繁重任务。尽管工人与机器人之间的通信渠道仍然受到限制，但手势识别已作为人类与机器人之间的接口得到了长期有效的应用[10-11]。随着计算机视觉和深度学习的发展，基于视觉的手势识别成为与机器人交互的主要方式，用户无需佩戴设备，具有交互方便、自然和表现丰富的优点。符合人机自然交互的趋势，适用范围广，对实现人与机器人自然交互具有重要意义，有着广泛的应用前景。意大利都灵理工大学LudovicoOrlandoRusso等人[12]通过集成计算机视觉技术和机器人技术，基于ROS机器人操作系统和拟人化机械手爪设计了一款实现聋盲人之间远程通信的新颖系统“PARLOMA”，如图1.3所示。该系统由低成本的深度相机作为输入设备，并与机械手配对作为输出设备。该系统能够识别一组通过网络发送并由拟人化机械手复制的手势。图1.3基于手势的盲聋人远程通信人机交互系统LudovicoOrlandoRusso等人设计了一种鲁棒、实时、无标记的手势识别方法，能够可靠的跟踪静态手势。根据深度图像计算手部关节的位置，使用随机森林算法对输入手势进行分类，识别的精度能够达到88.14%。如图1.4所示，输入模块通过深度相机识别出人手在设备前所作出的手势，由3个ROS节点和深度相机组成，识别出的手势通过网络发送到“复现模块”，该模块由机械手和RaspberryPi控制器组成。最终整个系统的精度可以达到73.32%。
【参考文献】：
期刊论文
[1]基于帧差法与中值法的运动目标背景提取算法[J]. 吴天友,殷志祥. 怀化学院学报. 2019(11)
[2]基于数学形态学的边缘检测算法分析[J]. 秦玮,陈希,马原原,冉红兵,王栋. 信息技术. 2019(11)
[3]机器人视觉示教学习方法研究[J]. 王鹏,朱建新,朱振新,罗南安. 机械设计与制造. 2019(11)
[4]基于QT的工业机器人人机交互系统的设计[J]. 徐建明,甘万正,张文安,俞立. 高技术通讯. 2019(06)
[5]基于深度信息的指尖检测-跟踪-监督算法[J]. 孟浩,尹维考,李洪进,郭永新. 仪器仪表学报. 2019(06)
[6]基于肤色模型与BP神经网络的手势识别[J]. 张彩珍,张云霞,赵丹,张晓金. 传感器与微系统. 2019(06)
[7]智能机器人研究现状及发展趋势的思考与建议[J]. 陶永,王田苗,刘辉,江山. 高技术通讯. 2019(02)
[8]基于ROS的机器人等离子切割板坯毛刺运动规划[J]. 郝奇,许四祥,江天琦,朱宝林. 重庆理工大学学报(自然科学). 2018(09)
[9]运动过程中的指尖检测[J]. 刘长征,宁爽. 小型微型计算机系统. 2018(03)
[10]基于ROS的六自由度机械臂轨迹规划[J]. 刘磊,宁祎. 自动化与仪表. 2018(03)
硕士论文
[1]基于ROS视觉定位的机器人智能抓取系统研究[D]. 王海玲.天津理工大学 2019
[2]协作机械臂轨迹规划及人脸跟踪方法研究[D]. 牛颖.太原理工大学 2019
[3]七自由度协作机器人拖动示教及碰撞检测研究[D]. 康永利.北京交通大学 2018
[4]基于ROS的四轴机械臂运动控制与视觉定位的研究[D]. 张松伟.中国科学院大学(中国科学院光电技术研究所) 2018
[5]基于Kinect动作交互系统设计[D]. 陈慰南.广东工业大学 2018
[6]基于多人机交互模式的机器人示教系统开发[D]. 朱文博.华中科技大学 2018
[7]基于ROS-Industrial的弧焊机器人运动规划研究[D]. 张得军.合肥工业大学 2018
[8]基于HSV的高斯混合模型背景减除方法[D]. 胡皓然.北京化工大学 2017
[9]基于机器视觉的机器人示教方法研究[D]. 周浩朋.华南理工大学 2017
[10]基于ROS的码垛机器人运动仿真及轨迹规划[D]. 温宽昌.哈尔滨工业大学 2016
本文编号：2978612
【文章来源】：长春工业大学吉林省
【文章页数】：97 页
【学位级别】：硕士
【部分图文】：
传统工业机器人与协作型机器人工作方式对比
第1章绪论3（a）ABBYumi双臂协作机器人（b）Baxter双臂协作机器人（c）KUKALBRIIWA协作机器人（d）UR5协作机器人图1.2常见的协作型机械臂具体而言，传统的工业机器人可以连续执行其编程的任务，具有较高的准确性，速度和可重复性。但是，它们缺乏通用性，无法有效地适应动态工作环境或生产变化，因此不适合小批量生产。相反，在动态和复杂的环境中，工人具有与生俱来的灵活性和适应突发事件的能力，并具有较强的决策能力。传统机器人与协作机器人的对比如表1-1所示：表1-1传统工业机器人与协作型机器人对比传统工业机器人协作型机器人固定安装方式灵活安装方式进行重复性工作，很少改变可进行频繁任务变更引导和离线编程方式在线编程、离线编程和多模态交互编程只在编程期间与工人进行交互频繁与工人进行交互工人与机器人之间通过安全栅栏分离共享工作空间无法安全的与工人进行交互安全交互只有大批量生产才能获益小批量生产也能获益
第1章绪论41.2.1人机交互国内外研究现状人机交互（human-robotinteraction,HRI）是致力于理解，设计和评估人或与人一起使用的机器人系统的研究领域[9]。近年来，人机交互的概念引起了许多研究者的兴趣，人机交互允许工人和机器人在共享的制造环境中一起工作。如果人与机器人之间建立了有效的沟通渠道，则人与机器人之间可以协同工作，从而摆脱繁重任务。尽管工人与机器人之间的通信渠道仍然受到限制，但手势识别已作为人类与机器人之间的接口得到了长期有效的应用[10-11]。随着计算机视觉和深度学习的发展，基于视觉的手势识别成为与机器人交互的主要方式，用户无需佩戴设备，具有交互方便、自然和表现丰富的优点。符合人机自然交互的趋势，适用范围广，对实现人与机器人自然交互具有重要意义，有着广泛的应用前景。意大利都灵理工大学LudovicoOrlandoRusso等人[12]通过集成计算机视觉技术和机器人技术，基于ROS机器人操作系统和拟人化机械手爪设计了一款实现聋盲人之间远程通信的新颖系统“PARLOMA”，如图1.3所示。该系统由低成本的深度相机作为输入设备，并与机械手配对作为输出设备。该系统能够识别一组通过网络发送并由拟人化机械手复制的手势。图1.3基于手势的盲聋人远程通信人机交互系统LudovicoOrlandoRusso等人设计了一种鲁棒、实时、无标记的手势识别方法，能够可靠的跟踪静态手势。根据深度图像计算手部关节的位置，使用随机森林算法对输入手势进行分类，识别的精度能够达到88.14%。如图1.4所示，输入模块通过深度相机识别出人手在设备前所作出的手势，由3个ROS节点和深度相机组成，识别出的手势通过网络发送到“复现模块”，该模块由机械手和RaspberryPi控制器组成。最终整个系统的精度可以达到73.32%。
【参考文献】：
期刊论文
[1]基于帧差法与中值法的运动目标背景提取算法[J]. 吴天友,殷志祥. 怀化学院学报. 2019(11)
[2]基于数学形态学的边缘检测算法分析[J]. 秦玮,陈希,马原原,冉红兵,王栋. 信息技术. 2019(11)
[3]机器人视觉示教学习方法研究[J]. 王鹏,朱建新,朱振新,罗南安. 机械设计与制造. 2019(11)
[4]基于QT的工业机器人人机交互系统的设计[J]. 徐建明,甘万正,张文安,俞立. 高技术通讯. 2019(06)
[5]基于深度信息的指尖检测-跟踪-监督算法[J]. 孟浩,尹维考,李洪进,郭永新. 仪器仪表学报. 2019(06)
[6]基于肤色模型与BP神经网络的手势识别[J]. 张彩珍,张云霞,赵丹,张晓金. 传感器与微系统. 2019(06)
[7]智能机器人研究现状及发展趋势的思考与建议[J]. 陶永,王田苗,刘辉,江山. 高技术通讯. 2019(02)
[8]基于ROS的机器人等离子切割板坯毛刺运动规划[J]. 郝奇,许四祥,江天琦,朱宝林. 重庆理工大学学报(自然科学). 2018(09)
[9]运动过程中的指尖检测[J]. 刘长征,宁爽. 小型微型计算机系统. 2018(03)
[10]基于ROS的六自由度机械臂轨迹规划[J]. 刘磊,宁祎. 自动化与仪表. 2018(03)
硕士论文
[1]基于ROS视觉定位的机器人智能抓取系统研究[D]. 王海玲.天津理工大学 2019
[2]协作机械臂轨迹规划及人脸跟踪方法研究[D]. 牛颖.太原理工大学 2019
[3]七自由度协作机器人拖动示教及碰撞检测研究[D]. 康永利.北京交通大学 2018
[4]基于ROS的四轴机械臂运动控制与视觉定位的研究[D]. 张松伟.中国科学院大学(中国科学院光电技术研究所) 2018
[5]基于Kinect动作交互系统设计[D]. 陈慰南.广东工业大学 2018
[6]基于多人机交互模式的机器人示教系统开发[D]. 朱文博.华中科技大学 2018
[7]基于ROS-Industrial的弧焊机器人运动规划研究[D]. 张得军.合肥工业大学 2018
[8]基于HSV的高斯混合模型背景减除方法[D]. 胡皓然.北京化工大学 2017
[9]基于机器视觉的机器人示教方法研究[D]. 周浩朋.华南理工大学 2017
[10]基于ROS的码垛机器人运动仿真及轨迹规划[D]. 温宽昌.哈尔滨工业大学 2016
本文编号：2978612
本文链接：https://www.wllwen.com/shoufeilunwen/xixikjs/2978612.html
