移动机器人的手势交互控制技术研究

发布时间：2019-04-30 21:30

【摘要】：近年来,机器人成为各国的研究热点,被广泛应用于安防、娱乐、教育和工业等领域,其人机交互方式也在不断更新。自2010年微软推出Kinect体感组件,非接触式人机交互技术逐渐兴起并被广泛地应用于各种机器人控制领域。本文基于Kinect2.0开发设计了一款基于手势控制的移动机器人,并重点研究了手势交互控制技术,其中包括:手势定义、手势获取、手势预处理以及手势识别。该机器人具备通过识别手势做出相应动作,并可以在室内全方位移动、自主躲避障碍和检测自身运动状态等功能,为室内服务机器人的设计与实现奠定了基础。该机器人具有广泛的应用前景,未来可用于辅助老年人、残疾人的日常生活,改善他们的生活质量,也可以用于商业服务领域。整个机器人系统主要分为下位机和上位机两部分。下位机采用STM32F103ZET6为主控制器,外部连接6个超声传感器和1个MPU9250传感器,下位机的功能是接收上位机命令,并根据命令完成相应动作。同时,下位机具有自主避障和自身运动状态检测功能。上位机由安装了Windows8.1系统的i7双核工控机和Kinect2.0组成,主要用于完成视频信号的采集、手势识别与处理,并形成命令发送给下位机,上位机还可以读取下位机状态。上位机和下位机通过RS232接口进行信息交换。Kinect2.0可以获取彩色图像数据、深度图像数据和人体骨骼数据,其获取的深度图像不受光照、纹理影响,鲁棒性好;其获取的人体骨骼数据包括人体25个骨骼节点,在人体大部分出现在视野前方的情况下,具有锁定骨骼位置准确、获取骨骼节点速度快、跟踪效果好等优点。因此,本文重点研究了基于深度图像进行手势识别的方法。在该方法中,首先通过骨骼数据快速锁定手部图像;然后提出一种基于双阈值(一个为固定阈值,一个为动态阈值)的图像差分方法用于将背景与手分离,从而提取手部二值化图像;最后,采用指尖点计数的方法进行基于手指数量的手势识别。本文基于Visual Studio 2012的开发环境、开源计算机视觉库OpenCV3.0和Kinect2.0类库采用,C++语言开发了上位机软件,在Keil4开发环境下开发了下位机软件。经过测试,整个系统能够相对准确地识别6种右手手势,并根据手势命令做出相应动作。测试结果表明,手势命令平均识别率为92.5%。该系统也可以识别左手手势,通过左右手手势的组合,可以扩展更多的手势用于人机交互。
[Abstract]:......
【学位授予单位】：东北师范大学
【学位级别】：硕士
【学位授予年份】：2017
【分类号】：TP391.41;TP242

【参考文献】

相关期刊论文 前10条

1 易靖国;程江华;库锡树;;视觉手势识别综述[J];计算机科学;2016年S1期

2 张文前;;智能移动机器人技术现状及展望[J];电子技术与软件工程;2016年08期

3 李昕迪;朱国强;;基于Kinect的人体姿势识别算法与实现[J];自动化技术与应用;2016年02期

4 刘春阳;徐军领;程洪涛;王东方;薛玉君;;MPU9250传感器的姿态检测与数据融合[J];河南科技大学学报(自然科学版);2015年04期

5 蔡娟;蔡坚勇;廖晓东;黄海涛;丁侨俊;;基于卷积神经网络的手势识别初探[J];计算机系统应用;2015年04期

6 顾德;李吉;;基于深度信息的指尖追踪及手势识别[J];计算机工程与应用;2015年07期

7 郑伟;林山君;陈凯;;中国人口老龄化的特征趋势及对经济增长的潜在影响[J];数量经济技术经济研究;2014年08期

8 史恩秀;陈敏敏;李俊;黄玉美;;基于蚁群算法的移动机器人全局路径规划方法研究[J];农业机械学报;2014年06期

9 林水强;吴亚东;陈永辉;;基于几何特征的手势识别方法[J];计算机工程与设计;2014年02期

10 胡琼;秦磊;黄庆明;;基于视觉的人体动作识别综述[J];计算机学报;2013年12期

相关硕士学位论文 前7条

1 曹海波;基于Kinect深度信息的静态手势识别方法研究[D];山东大学;2016年

2 谈家谱;基于指尖信息的手势识别与人机交互应用研究[D];北京交通大学;2016年

3 王松林;基于Kinect的手势识别与机器人控制技术研究[D];北京交通大学;2014年

4 郑斌珏;基于Kinect深度信息的手势识别[D];杭州电子科技大学;2014年

5 彭朔;基于神经网络的核电站检修机器人的智能控制研究[D];华北电力大学（北京）;2010年

6 程文山;基于肤色分割和Camshift的手势识别研究[D];华中师范大学;2009年

7 张辉;非完整性移动机器人体系结构设计与轨迹跟踪控制研究[D];湖南大学;2007年

，

本文编号：2469025