机器人演示编程的示教动作识别与定位方法研究
发布时间：2021-01-31 22:02
随着工业机器人在工业生产中的大量应用,其工作方向已从基本的机械加工和简单协助技术人员,演变成了基于人机交互作用完成不同环境下的复杂任务,机器人编程技术已成研究热点。论文以机器人演示编程为研究对象,针对传统演示方式编程部署时间长、人机交互能力差和使用门槛高等问题,以轨迹示教任务为例,研究基于手势识别轨迹生成方法改进及应用,结合工业机器人和视觉传感器,实现机器人与操作人员的自然交互、快速示教目的。在手势识别方面,首先分别针对演示编程技术与基于手势识别的人机交互技术进行了国内外研究调研,结合机器人的实际应用场景进行设备选择,建立整体组织框架;其次提出了基于肤色分割与CNN结合的手势识别方法,通过利用肤色模型提取手势相关信息,将手势图片输入RGB与YCbC混合肤色空间去除非肤色区域,再将分割得到图像进行腐蚀处理、扩张处理和高斯滤波以平滑噪音,以突出轮廓和边缘,最后进行二值化得到手势图像;利用Keras自建CNN模型进行特征提取并得到手势识别模型;在Marcel数据集上进行验证实验,并且针对开源手势样本,较少的情况,自行采集图像构建手势样本库进行训练与测试,通过实验验证该方法的可靠性,可用于进行...
【文章来源】：西安建筑科技大学陕西省
【文章页数】：73 页
【学位级别】：硕士
【部分图文】：
演示编程系统的意义
穑?岢鼋?丈?狈酵糩17]、LBP特征[18]，圆形率和长宽比、归一化Zernike矩相结合的特征描述方法，完成目标零件识别[19]；其次当零件放置位置与工作台表面不存在重叠时，对识别完成后的目标零件进行特征信息提取，基于如表面高度等先验信息，采用单目视觉算法完成零件定位后运用最小面积矩形（MetalArtifactReduction,MAR）完成目标零件位姿估计[20]；对于存在装配关系的零件，利用归一化的相关性度量（Zero-meanNormalizedCross-Correlation,ZNCC）[21]，结合匹配点的相对位置信息完成目标零件位姿获取[22]。图1.2乐高积木组装仿真实验[23]在装配演示编程中的动作识别方面，誉洪生针对原压缩跟踪中目标尺寸和学习率均固定的问题提出了一种改进的压缩跟踪算法。首先通过对目标图像采集不同尺度图像以生成图像金字塔，其次基于带通道标记的随机稀疏测量矩阵提取Haar特征[24]，进而完成变尺寸的物体跟踪；结合目标物体颜色信息，利用计算跟踪结果与跟踪目标的直方图巴氏距离，对目标物体遮挡情况进行分析[25]。为进一步实现实现连续装配动作分割与识别，使用基于分层模型的多特征融合装配动作识别方法，利用Multi-classSVM分类器实现了装配动作识别[26]，将多特征融合的动作特征描述作为识别依据，利用滑动窗口法实现装配动作分割，并基于迭代动态规划的方法最大化装配动作识别置信度总和，同时化化分割点位置和动作数目[27]。
西安建筑科技大学硕士论文4在装配演示编程中的机械臂运动控制方面，王浩等人通过对任务执行过程中机械臂末端的力传感器数据进行收集，并利用SVM对任务执行结果进行预测。且为保证装配的成功率与过程的安全性，将实验过程中的数据运用高斯过程进行建模，并对控制进行贝叶斯优化，在解决噪声干扰、建模误差的同时，更好地平衡了搜索空间与搜索效率[28]。图1.3手电筒的演示编程示意图国外对机器人演示编程的研究十分注重，并且已经取得了不错的进展，在机器人演示编程的关键技术难题上都有所突破。许多高校和研究机构都在机器人演示编程技术领域开展了深入的研究，如荷兰的戴尔福特大学，意大利的摩德纳－雷焦·艾米里亚大学，英国的埃塞克斯大学等。来自加拿大麦克马斯特大学JineshPatel等人面向具体工业场景下的零件分拣，针对提高该场景下机器人的容错能力设计了示教系统[29]。该系统硬件平台由一台深度相机（Kinect），一台六自由度机械臂（CRSRobotics）和一个固定在机械臂末端的电磁吸爪组成[30]。机器人的工作平台采用泡沫板以容忍机器人在垂直方向上的定位误差。这套演示编程系统的主要功能是通过人手先指向工作台上的不同形状的工件（螺钉、垫圈、螺母），然后再指向要将其分捡的盒子，通过视觉处理使机器人能够自动进行零件的分拣工作。他们的主要工作集中在视觉处理方面的手势识别（HandGestureRecognition,HGR）和零件识别的软件算法上[31]。JineshPatel将实现零件分拣的算法任务分为两个主要模块，分别是示教模块和分拣模块，每个
【参考文献】：
期刊论文
[1]基于OpenCV的智能语音识别分拣机器人[J]. 池佳豪,方诗镪,黄昭,刘雪柔,胡安正. 电子制作. 2019(19)
[2]中国机器人产业发展报告（2019年）发布[J]. 智能机器人. 2019(04)
[3]工业机器人助力制造业转型升级[J]. 白文亭. 电气时代. 2018(09)
[4]基于BP神经网络的自然感彩色融合算法[J]. 何炳阳,张智诠,李强,谢志宏. 红外技术. 2018(05)
[5]仓储领域机器人的技术发展与应用[J]. 张颖川,任芳. 物流技术与应用. 2017(09)
[6]结合肤色模型和卷积神经网络的手势识别方法[J]. 王龙,刘辉,王彬,李鹏举. 计算机工程与应用. 2017(06)
[7]基于OpenCL的Viola-Jones人脸检测算法性能优化研究[J]. 贾海鹏,张云泉,袁良,李士刚. 计算机学报. 2016(09)
[8]基于Haar特性的LBP纹理特征[J]. 周书仁,殷建平. 软件学报. 2013(08)
[9]基于HOG和Haar特征的行人追踪算法研究[J]. 陆星家,陈志荣,尹天鹤,杨帆. 计算机科学. 2013(S1)
[10]基于视觉权值的分块颜色直方图图像检索算法[J]. 王向阳,杨红颖,郑宏亮,吴俊峰. 自动化学报. 2010(10)
硕士论文
[1]面向工业装配演示编程的机械臂运动控制[D]. 王浩.浙江大学 2018
[2]面向无人驾驶的高精细语义点云建图方法研究[D]. 曹明玮.上海交通大学 2018
[3]五金打磨机器人离线编程技术研究及应用[D]. 刘显明.华中科技大学 2017
[4]面向工业装配演示编程的动作识别[D]. 誉洪生.浙江大学 2017
[5]内容与形式相统一的智能交互空间[D]. 苏功宴.上海交通大学 2007
本文编号：3011653
【文章来源】：西安建筑科技大学陕西省
【文章页数】：73 页
【学位级别】：硕士
【部分图文】：
演示编程系统的意义
穑?岢鼋?丈?狈酵糩17]、LBP特征[18]，圆形率和长宽比、归一化Zernike矩相结合的特征描述方法，完成目标零件识别[19]；其次当零件放置位置与工作台表面不存在重叠时，对识别完成后的目标零件进行特征信息提取，基于如表面高度等先验信息，采用单目视觉算法完成零件定位后运用最小面积矩形（MetalArtifactReduction,MAR）完成目标零件位姿估计[20]；对于存在装配关系的零件，利用归一化的相关性度量（Zero-meanNormalizedCross-Correlation,ZNCC）[21]，结合匹配点的相对位置信息完成目标零件位姿获取[22]。图1.2乐高积木组装仿真实验[23]在装配演示编程中的动作识别方面，誉洪生针对原压缩跟踪中目标尺寸和学习率均固定的问题提出了一种改进的压缩跟踪算法。首先通过对目标图像采集不同尺度图像以生成图像金字塔，其次基于带通道标记的随机稀疏测量矩阵提取Haar特征[24]，进而完成变尺寸的物体跟踪；结合目标物体颜色信息，利用计算跟踪结果与跟踪目标的直方图巴氏距离，对目标物体遮挡情况进行分析[25]。为进一步实现实现连续装配动作分割与识别，使用基于分层模型的多特征融合装配动作识别方法，利用Multi-classSVM分类器实现了装配动作识别[26]，将多特征融合的动作特征描述作为识别依据，利用滑动窗口法实现装配动作分割，并基于迭代动态规划的方法最大化装配动作识别置信度总和，同时化化分割点位置和动作数目[27]。
西安建筑科技大学硕士论文4在装配演示编程中的机械臂运动控制方面，王浩等人通过对任务执行过程中机械臂末端的力传感器数据进行收集，并利用SVM对任务执行结果进行预测。且为保证装配的成功率与过程的安全性，将实验过程中的数据运用高斯过程进行建模，并对控制进行贝叶斯优化，在解决噪声干扰、建模误差的同时，更好地平衡了搜索空间与搜索效率[28]。图1.3手电筒的演示编程示意图国外对机器人演示编程的研究十分注重，并且已经取得了不错的进展，在机器人演示编程的关键技术难题上都有所突破。许多高校和研究机构都在机器人演示编程技术领域开展了深入的研究，如荷兰的戴尔福特大学，意大利的摩德纳－雷焦·艾米里亚大学，英国的埃塞克斯大学等。来自加拿大麦克马斯特大学JineshPatel等人面向具体工业场景下的零件分拣，针对提高该场景下机器人的容错能力设计了示教系统[29]。该系统硬件平台由一台深度相机（Kinect），一台六自由度机械臂（CRSRobotics）和一个固定在机械臂末端的电磁吸爪组成[30]。机器人的工作平台采用泡沫板以容忍机器人在垂直方向上的定位误差。这套演示编程系统的主要功能是通过人手先指向工作台上的不同形状的工件（螺钉、垫圈、螺母），然后再指向要将其分捡的盒子，通过视觉处理使机器人能够自动进行零件的分拣工作。他们的主要工作集中在视觉处理方面的手势识别（HandGestureRecognition,HGR）和零件识别的软件算法上[31]。JineshPatel将实现零件分拣的算法任务分为两个主要模块，分别是示教模块和分拣模块，每个
【参考文献】：
期刊论文
[1]基于OpenCV的智能语音识别分拣机器人[J]. 池佳豪,方诗镪,黄昭,刘雪柔,胡安正. 电子制作. 2019(19)
[2]中国机器人产业发展报告（2019年）发布[J]. 智能机器人. 2019(04)
[3]工业机器人助力制造业转型升级[J]. 白文亭. 电气时代. 2018(09)
[4]基于BP神经网络的自然感彩色融合算法[J]. 何炳阳,张智诠,李强,谢志宏. 红外技术. 2018(05)
[5]仓储领域机器人的技术发展与应用[J]. 张颖川,任芳. 物流技术与应用. 2017(09)
[6]结合肤色模型和卷积神经网络的手势识别方法[J]. 王龙,刘辉,王彬,李鹏举. 计算机工程与应用. 2017(06)
[7]基于OpenCL的Viola-Jones人脸检测算法性能优化研究[J]. 贾海鹏,张云泉,袁良,李士刚. 计算机学报. 2016(09)
[8]基于Haar特性的LBP纹理特征[J]. 周书仁,殷建平. 软件学报. 2013(08)
[9]基于HOG和Haar特征的行人追踪算法研究[J]. 陆星家,陈志荣,尹天鹤,杨帆. 计算机科学. 2013(S1)
[10]基于视觉权值的分块颜色直方图图像检索算法[J]. 王向阳,杨红颖,郑宏亮,吴俊峰. 自动化学报. 2010(10)
硕士论文
[1]面向工业装配演示编程的机械臂运动控制[D]. 王浩.浙江大学 2018
[2]面向无人驾驶的高精细语义点云建图方法研究[D]. 曹明玮.上海交通大学 2018
[3]五金打磨机器人离线编程技术研究及应用[D]. 刘显明.华中科技大学 2017
[4]面向工业装配演示编程的动作识别[D]. 誉洪生.浙江大学 2017
[5]内容与形式相统一的智能交互空间[D]. 苏功宴.上海交通大学 2007
本文编号：3011653
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3011653.html
