基于视觉的灵巧手人机协同操作的研究

发布时间：2021-08-24 07:00

　　人工智能技术飞速发展,机器人作为人工智能的最直接的应用体现,在工业、农业、医疗、航天等众多领域发挥重要的作用。机器人的操作能力是其智能化的重要体现,然而在非结构化的环境中,面对复杂的场景,机器人难以自主决策,尤其对于高自由度的灵巧机械手,自主规划更加困难,需要人类的经验进行示教学习。传统方法使用数据手套或穿戴式的传感器获得人手运动参数,然而设备系统较为笨重,影响人手的自然运动。为获得直观自然的人手动作姿态,本文采用基于视觉的非接触式方法,通过RGBD相机拍摄人手动作,基于深度学习的方法进行人手姿态预测,将人手姿态与灵巧机械手姿态进行映射,使机械手能够模仿人手的灵活动作,从而实现灵巧机械手的人机协同操控。本文主要研究工作如下:（1）针对基于视觉的手部姿态检测问题,提出了一种新颖的轻量级的分支融合网络结构,根据手部形状结构以及手指功能重要性的差异,将手部分为大拇指、食指和其余手指,使用三个平行的分支子网络分别对这三个手部分区进行特征学习,最后通过分支特征的级联融合,以及低维嵌入层引入的手部整体约束,进行手部所有关节的3D位置预测,在三个公共的手部姿态检测的数据集上进行实验验证,本文的分支融... 

【文章来源】：大连理工大学辽宁省 211工程院校 985工程院校 教育部直属院校

【文章页数】：79 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
1 绪论
    1.1 课题背景与研究意义
    1.2 课题的国内外研究现状
        1.2.1 手部姿态估计的国内外研究现状
        1.2.2 机械手人机协同操作的国内外研究现状
    1.3 研究内容及章节安排
        1.3.1 主要研究内容
        1.3.2 论文章节安排
2 基于视觉的灵巧手协同控制的基本知识
    2.1 基于视觉的手部姿态估计
    2.2 人机协同灵巧机械手操控
    2.3 本章小结
3 基于视觉的手部姿态检测
    3.1 手部分支融合网络
        3.1.1 网络结构设计
        3.1.2 网络损失函数
    3.2 数据预处理
    3.3 实验评估与分析
        3.3.1 自对比实验
        3.3.2 与其他方法对比实验
        3.3.3 实际场景实验
    3.4 本章小结
4 人机协同灵巧机械手控制
    4.1 人机协同机械手操控系统平台
        4.1.1 图像采集与预处理模块
        4.1.2 手部三维姿态检测模块
        4.1.3 人机手部姿态映射模块
        4.1.4 人机协同机械手控制模块
    4.2 仿真机械手人机协同控制
    4.3 Shadow Hand人机协同控制
    4.4 本章小结
5 交互遮挡下的手部姿态检测
    5.1 双流融合手部姿态检测网络
    5.2 数据预处理
    5.3 实验评估与分析
    5.4 本章小结
结论
参考文献
攻读硕士学位期间发表学术论文情况
致谢


【参考文献】：
期刊论文
[1]基于数据手套的动作承接式手势识别[J]. 劳志辉,吴焕斌,张文山.  中国科技信息. 2016(06)
[2]基于加速度传感器的连续动态手势识别[J]. 陈鹏展,罗漫,李杰.  传感器与微系统. 2016(01)
[3]我国工业机器人技术现状与产业化发展战略[J]. 王田苗,陶永.  机械工程学报. 2014(09)
[4]手势识别综述[J]. 葛继东,贾绍文,蔡慧敏.  科技视界. 2012(19)

硕士论文
[1]基于混合高斯模型的三维手部关节跟踪算法[D]. 魏诗白.大连理工大学 2016



本文编号：3359511