基于体感相机的YuMi机器人人机协作研究

发布时间：2020-06-23 03:10

【摘要】：基于体感相机的YuMi机器人人机协作是一种通过人体动作与手势信息相结合,远程控制机器人完成作业的人机协作系统。主要通过完成机器人双臂协作任务、远程通讯、机器人工件图像采集、人体图像采集,并结合基于骨骼跟踪的人体动作识别算法以及基于MLP的手势识别算法,分别完成双臂协作、工作目标的检测、人体动作识别及人机协同、手势识别,使机器人在隔离区通过人体信息完成作业。在许多危险环境中进行作业时,都需要机器人代替人去完成。由于存在难以近距离操作等多种问题,经常会产生无法估计的后果。而目前存在的人机协作系统,由于协作精度、安全等条件的限制,普遍停留在仿真及遥感控制,无法满足社会需求。因此,本文提出一种基于体感相机的YuMi机器人人机协作系统,主要内容如下:(1)基于YuMi机器人平台建立了双臂协作系统,完成双臂协作与机器人图像采集;同时,将机器视觉与工业机器人相结合,对工件进行抓取与信息采集。采用Socket通讯实现远程人机协同随动控制,达到零接触、零伤亡,保证了人机协作的安全性。(2)针对人机协作中存在的远距离操作难等问题,本文提出了使用体感与深度学习相结合,识别人体信息,从而对机器人系统进行控制的方法。基于体感相机,使用骨骼跟踪算法得到人体运动信息及关节点坐标,进行人体动作识别,达到人机协同随动控制;同时使用MLP多层感知机进行人体手势识别,将手势数字预测结果发送给机器人,使机器人自主获取对应目标信息,完成作业。相比传统的协作系统控制方法,本文提出的体感及手势识别控制方法识别精度更高,操作更简单可靠。(3)针对人机协作系统应用中存在的精度差与低效率问题,本文提出的基于体感相机的YuMi机器人人机协作系统使用服务端与客户端连接传输数据,可以建立多个机器人客户端,并且工作精度在0.02mm,可实现一个操作人员对多个机器人集群操作,相比传统的人机协作系统,工作精度与工作效率更高。
【学位授予单位】：西安理工大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP242
【图文】：

机器人,双臂

图 1-1 人机协作的应用场景Fig. 1-1 Application scenario of man-machine collaboration1956 年，协作机器人的概念被美国西北大学教授 J.Edward Colgate 提出后，研究在国内外各大研究机构就已经展开，如图 1-1 所示分别为 Motoman 双臂机器人，制造于日本安川公司；由 KUKA 公司制造的 LBRiiwa 机器人，ABB 公司生产的双臂协作机器人YuMi。在 2017 年杭州云栖大会上，YuMi 向世界展示了协作机器人制作咖啡，高精度的双臂协作配合使得研究者们为之震惊，迎来了研究的一阵热潮。

人机协作,机器人,北大,场景

图 1-1 人机协作的应用场景Fig. 1-1 Application scenario of man-machine collaboration，协作机器人的概念被美国西北大学教授 J.Edward Colgate 提出究机构就已经展开，如图 1-1 所示分别为 Motoman 双臂机器人；由 KUKA 公司制造的 LBRiiwa 机器人，ABB 公司生产的双臂017 年杭州云栖大会上，YuMi 向世界展示了协作机器人制作咖啡使得研究者们为之震惊，迎来了研究的一阵热潮。

【相似文献】