基于手势识别的协作机器人人机交互系统设计
发布时间：2021-11-15 06:34
随着人机交互技术的快速发展和人机工程学、用户体验等领域的研究逐步深入,人们对机器人可用性与易用性的要求越来越高。手势理解用于人机交互已成为人机交互技术重要的研究内容。目前,手势识别的解决方案中,大部分方案存在准确率不足、使用场景限制多等问题,仍不能实际应用到工业协作机器人中。本文应用Python开发语言,建立了一套面向协作机器人完成装配作业的手势语言库,实现了协作机器人的手势识别人机交互系统。基于Kinect平台采集人体深度图像,给出了“静态手势识别与动态手势识别算法”;其中,基于阈值的手势分割算法对手部图像进行分割,提取出手势轮廓的相关操作的特征信息;同时,基于K-curvature检测手部的手指点数量,进而确定手势的类别。基于HMM-NBC模型的动态手势识别方法,利用获得到的大量的手势图像特征以及运动轨迹特征,训练HMM模型,通过NBC分类器实现动态手势分类,实现了对手势（语义）的添加以及录入等功能。本文根据装配齿轮泵的工艺需求设计了相应手势,将系统与协作机器人对接,完成了人机协作装配的工作站平台。实验结果表明:手势交互系统可在真实环境下实现协作机器人的齿轮泵人机协作装配操作,单个...
【文章来源】：大连理工大学辽宁省 211工程院校 985工程院校 教育部直属院校
【文章页数】：73 页
【学位级别】：硕士
【文章目录】：
摘要
Abstract
引言
1.绪论
1.1 课题研究意义
1.2 国内外研究现状
1.2.1 人机交互
1.2.2 手势识别
1.3 本文主要研究内容与章节安排
2 手势识别技术与人机交互平台
2.1 手势识别技术概述
2.1.1 基于穿戴设备的手势识别
2.1.2 基于视觉的手势识别
2.2 动态手势识别
2.2.1 基于模板的方法
2.2.2 基于语法的方法
2.2.3 基于统计的方法
2.3 静态手势识别
2.3.1 模板匹配方法
2.3.2 基于手指的检测方法
2.3.3 基于指尖的检测
2.4 基于Kinect平台的手势识别
2.4.1 Kinect平台
2.4.2 Kinect的局限性
2.4.3 人机协作的关键技术
2.5 本章小结
3 基于深度图像分割的静态手势识别
3.1 Kinect骨骼识别原理
3.2 基于Kinect平台的深度图像采集
3.3 基于阈值的手势图像分割
3.3.1 阈值的确定
3.3.2 K-Means分割手势区域
3.4 手势区域预处理
3.4.1 手势区域滤波与形态学操作
3.4.2 手势轮廓提取
3.4.3 手势轮廓近似
3.5 提取手指点
3.5.1 辨别指尖
3.5.2 K参数的实验与分析
3.6 基于指尖点的静态手势识别
3.6.1 静态手势定义
3.6.2 静态手势识别
3.7 本章小结
4 基于Kinect平台的动态手势识别
4.1 常用的动态手势识别算法
4.1.1 动态规划
4.1.2 动态时间规整
4.1.3 条件随机场
4.1.4 隐马尔可夫模型
4.2 动态手势识别预处理
4.3 手势特征向量的构造
4.3.1 手势特征需求
4.3.2 基于骨骼节点的特征构造
4.4 基于HMM-NBC的手势训练过程
4.4.1 朴素贝叶斯分类器
4.4.2 可行性测试
4.4.3 手势训练过程
4.5 本章小结
5 基于手势识别的协作机器人人机交互系统实现
5.1 人机交互系统的手势设定
5.1.1 动态手势设定
5.1.2 动态手势样本库的建立
5.1.3 实验过程与分析
5.2 基于手势识别的人机交互系统
5.2.1 系统设计
5.2.2 系统模块
5.2.3 系统任务
5.3 人机交互系统实验结果与分析
5.4 人机交互系统在协作装配作业中的应用
5.5 本章小结
结论
参考文献
致谢
【参考文献】：
期刊论文
[1]基于Kinect的PPT播放器的设计[J]. 刘云萍,刘晋钢. 电脑与电信. 2018(10)
[2]基于Kinect手势识别的智能小车控制系统设计[J]. 杨琼楠,张苗苗,杨聪锟,陈超波. 国外电子测量技术. 2018(09)
[3]基于kinect体感控制机器人设计与实现[J]. 谭花花. 电子世界. 2018(13)
[4]基于手势识别的虚拟环境体感交互控制[J]. 蔡林沁,张建荣,刘彬彬. 华中科技大学学报(自然科学版). 2015(S1)
[5]基于Kinect传感器的动态手势实时识别[J]. 刘瑶,余旭,黄智兴. 西南大学学报(自然科学版). 2015(08)
[6]虚拟现实增强技术综述[J]. 周忠,周颐,肖江剑. 中国科学:信息科学. 2015(02)
[7]一种基于改进DTW算法的动态手势识别方法[J]. 何超,胡章芳,王艳. 数字通信. 2013(03)
[8]Kinect应用概述及发展前景[J]. 朱涛,金国栋,芦利斌. 现代计算机(专业版). 2013(06)
[9]基于Kinect的农作物长势深度图像实时获取算法[J]. 江晓庆,肖德琴,张波,陈剑. 广东农业科学. 2012(23)
[10]浅谈手势识别在人机交互中的应用[J]. 潘建生. 电脑知识与技术. 2011(35)
博士论文
[1]虚拟现实自然交互环境下用户认知的数学表达及其可视化评估[D]. 杨贤.广东工业大学 2018
[2]数据驱动的虚拟试衣系统若干关键技术研究[D]. 成可立.浙江大学 2016
[3]人机交互系统中手势和姿势识别算法的研究[D]. 程光.清华大学 2014
硕士论文
[1]基于Kinect的智能交互虚拟机房的设计与实现[D]. 王晓晔.北京邮电大学 2018
[2]基于Kinect的静态数字手语识别研究及系统实现[D]. 刘伟康.河南大学 2016
[3]线性回归的人脸表情模型重建及表情动画研究与实现[D]. 刘刚.湖南大学 2016
[4]Kinect手势识别技术在多媒体教学中的应用研究[D]. 但婕.湖北师范大学 2016
[5]基于力觉和视觉的双机器人协作研究[D]. 喻洋.青岛科技大学 2016
[6]基于Kinect的手势识别技术在人机交互中的应用研究[D]. 陈一新.西南交通大学 2015
[7]基于传感器的增强现实关键技术研究[D]. 彭雪.上海大学 2015
[8]基于Kinect手势识别的虚拟人体解剖教学系统的设计与实现[D]. 李小龙.北京工业大学 2014
[9]基于Kinect的手势识别与机器人控制技术研究[D]. 王松林.北京交通大学 2014
[10]应用Kinect的人体行为识别方法研究与系统设计[D]. 韩旭.山东大学 2013
本文编号：3496234
【文章来源】：大连理工大学辽宁省 211工程院校 985工程院校 教育部直属院校
【文章页数】：73 页
【学位级别】：硕士
【文章目录】：
摘要
Abstract
引言
1.绪论
1.1 课题研究意义
1.2 国内外研究现状
1.2.1 人机交互
1.2.2 手势识别
1.3 本文主要研究内容与章节安排
2 手势识别技术与人机交互平台
2.1 手势识别技术概述
2.1.1 基于穿戴设备的手势识别
2.1.2 基于视觉的手势识别
2.2 动态手势识别
2.2.1 基于模板的方法
2.2.2 基于语法的方法
2.2.3 基于统计的方法
2.3 静态手势识别
2.3.1 模板匹配方法
2.3.2 基于手指的检测方法
2.3.3 基于指尖的检测
2.4 基于Kinect平台的手势识别
2.4.1 Kinect平台
2.4.2 Kinect的局限性
2.4.3 人机协作的关键技术
2.5 本章小结
3 基于深度图像分割的静态手势识别
3.1 Kinect骨骼识别原理
3.2 基于Kinect平台的深度图像采集
3.3 基于阈值的手势图像分割
3.3.1 阈值的确定
3.3.2 K-Means分割手势区域
3.4 手势区域预处理
3.4.1 手势区域滤波与形态学操作
3.4.2 手势轮廓提取
3.4.3 手势轮廓近似
3.5 提取手指点
3.5.1 辨别指尖
3.5.2 K参数的实验与分析
3.6 基于指尖点的静态手势识别
3.6.1 静态手势定义
3.6.2 静态手势识别
3.7 本章小结
4 基于Kinect平台的动态手势识别
4.1 常用的动态手势识别算法
4.1.1 动态规划
4.1.2 动态时间规整
4.1.3 条件随机场
4.1.4 隐马尔可夫模型
4.2 动态手势识别预处理
4.3 手势特征向量的构造
4.3.1 手势特征需求
4.3.2 基于骨骼节点的特征构造
4.4 基于HMM-NBC的手势训练过程
4.4.1 朴素贝叶斯分类器
4.4.2 可行性测试
4.4.3 手势训练过程
4.5 本章小结
5 基于手势识别的协作机器人人机交互系统实现
5.1 人机交互系统的手势设定
5.1.1 动态手势设定
5.1.2 动态手势样本库的建立
5.1.3 实验过程与分析
5.2 基于手势识别的人机交互系统
5.2.1 系统设计
5.2.2 系统模块
5.2.3 系统任务
5.3 人机交互系统实验结果与分析
5.4 人机交互系统在协作装配作业中的应用
5.5 本章小结
结论
参考文献
致谢
【参考文献】：
期刊论文
[1]基于Kinect的PPT播放器的设计[J]. 刘云萍,刘晋钢. 电脑与电信. 2018(10)
[2]基于Kinect手势识别的智能小车控制系统设计[J]. 杨琼楠,张苗苗,杨聪锟,陈超波. 国外电子测量技术. 2018(09)
[3]基于kinect体感控制机器人设计与实现[J]. 谭花花. 电子世界. 2018(13)
[4]基于手势识别的虚拟环境体感交互控制[J]. 蔡林沁,张建荣,刘彬彬. 华中科技大学学报(自然科学版). 2015(S1)
[5]基于Kinect传感器的动态手势实时识别[J]. 刘瑶,余旭,黄智兴. 西南大学学报(自然科学版). 2015(08)
[6]虚拟现实增强技术综述[J]. 周忠,周颐,肖江剑. 中国科学:信息科学. 2015(02)
[7]一种基于改进DTW算法的动态手势识别方法[J]. 何超,胡章芳,王艳. 数字通信. 2013(03)
[8]Kinect应用概述及发展前景[J]. 朱涛,金国栋,芦利斌. 现代计算机(专业版). 2013(06)
[9]基于Kinect的农作物长势深度图像实时获取算法[J]. 江晓庆,肖德琴,张波,陈剑. 广东农业科学. 2012(23)
[10]浅谈手势识别在人机交互中的应用[J]. 潘建生. 电脑知识与技术. 2011(35)
博士论文
[1]虚拟现实自然交互环境下用户认知的数学表达及其可视化评估[D]. 杨贤.广东工业大学 2018
[2]数据驱动的虚拟试衣系统若干关键技术研究[D]. 成可立.浙江大学 2016
[3]人机交互系统中手势和姿势识别算法的研究[D]. 程光.清华大学 2014
硕士论文
[1]基于Kinect的智能交互虚拟机房的设计与实现[D]. 王晓晔.北京邮电大学 2018
[2]基于Kinect的静态数字手语识别研究及系统实现[D]. 刘伟康.河南大学 2016
[3]线性回归的人脸表情模型重建及表情动画研究与实现[D]. 刘刚.湖南大学 2016
[4]Kinect手势识别技术在多媒体教学中的应用研究[D]. 但婕.湖北师范大学 2016
[5]基于力觉和视觉的双机器人协作研究[D]. 喻洋.青岛科技大学 2016
[6]基于Kinect的手势识别技术在人机交互中的应用研究[D]. 陈一新.西南交通大学 2015
[7]基于传感器的增强现实关键技术研究[D]. 彭雪.上海大学 2015
[8]基于Kinect手势识别的虚拟人体解剖教学系统的设计与实现[D]. 李小龙.北京工业大学 2014
[9]基于Kinect的手势识别与机器人控制技术研究[D]. 王松林.北京交通大学 2014
[10]应用Kinect的人体行为识别方法研究与系统设计[D]. 韩旭.山东大学 2013
本文编号：3496234
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3496234.html
