基于深度相机数据驱动的人形机器人运动及算法研究
发布时间：2021-07-04 04:13
机器人技术一直是人工智能领域的热点。为了能提高社会生产力,改善人们的生活方式,一代又一代的科研人员为能解放人类的劳动或者特殊场合代替人类而致力于机器人技术的研究。随着理论知识和实践经验的不断完善,各种类型的机器人开始出现在人们的日常生活中。当然,最为常见的一些是根据控制器或者语音实现对机器人的控制,如一些轮式的扫地机器人等。在机器人领域中,轮式的移动方式更为流行,而如人类般的步行较为罕见。因为,步行所涉及的知识更为复杂,不易于产品的设计,而本文则采用了仿人型机器人作为研究对象。相比于传统的控制器和语音控制机器人,本文将使用Kinect采集的数据,利用姿势和手型识别控制机器人。将新型的人机交互方式与热门的仿人机器人进行结合,完成本次课题的研究,其主要研究内容如下:（1）在详细了解Kinect传感器的工作原理后,利用它所采集的彩色数据、深度数据和骨骼数据进行姿势识别和手型识别。通过Kinect采集的骨骼数据,利用所得表征关节的深度数据（空间信息）建立空间向量,根据表示运动的空间关节向量的夹角计算结果,从而完成人体姿势的识别判断,并进行姿势识别实验,发现实时的人体姿势识别率还不错。（2）相比...
【文章来源】：浙江师范大学浙江省
【文章页数】：76 页
【学位级别】：硕士
【部分图文】：
KinectforXbox360PrimeSense公司研制的PS1080芯片对于Kinect非常得重要
第 3 章 姿态识别3.2.2 静态姿势实验验证Kinect 在进行人体骨骼追踪时，并不能获取精准的人体骨骼关节点，而是根据镜头前的人体的深度图像生成相对准确的 20 个骨骼关节点。根据相应骨骼关节点形成的空间向量，利用相应的算法进行计算后，可以估计人体所做的静态姿势，如双手举起等动作。本次实验主要对双手举起、左手举起右手平举、双手平举和右手平举这四个动作进行验证，其实验过程如图 3.5 所示。
通过 Kinect 设备，我们可以同时得到深度和彩色数据流。其中，深度图像中像素信息表示场景中校准后的距离信息。为了从图像中获得人体，我们可以使 Kinect 提供的前景分割功能。这个功能函数的主要思想是使用特定阈值来过背景的深度信息。本文使用 Kinect 进行深度图像采集，如图 4.2(a)所示。然后，使用 Kinect 为个对象随机分配的人体索引号获取人体所在的深度区间，进而便可得到只有人的深度图像，如图 4.2(b)所示。通过 Kinect 的骨骼追踪技术，获得人体的 20 个节点位置，利用手部关节点位置，便可获得手部的深度图和彩色图。Kinect 使激光散斑原理获取深度信息，故手部轮廓会显得粗糙，边缘上有许多孔和噪声。如果不对深度图进行处理，对后面的特征提取时，可能会造成一些误差。因，我们先对深度图进行中值滤波，使得手部轮廓平滑没有噪声点。其处理后的型二值图和彩色图，如图 4.3(a)和 4.3(b)所示。
【参考文献】：
期刊论文
[1]基于Arduino UNO的平衡车设计[J]. 丁倩雯,徐红红. 西安文理学院学报(自然科学版). 2019(01)
[2]用于创新实践教学的拟人行走智能机器人设计[J]. 傅宇杨,李知菲. 中国信息技术教育. 2018(10)
[3]基于Kinect V2.0的6自由度机械臂控制系统的实现[J]. 钟君,曹建树. 机床与液压. 2018(09)
[4]基于自然手势交互的工业机器人示教系统设计与实现[J]. 陈畅,陈亮,周雪峰. 制造业自动化. 2018(02)
[5]双足机器人步态规划方法研究[J]. 李攀,魏洪兴. 机械工程与自动化. 2017(04)
[6]基于Kinect虚拟文物互动展示系统的设计与实现[J]. 王向强,黄俊,张作运. 微型机与应用. 2017(02)
[7]基于Pixy Cmucam5图像识别传感器的物品分拣装置[J]. 张桂红. 电子制作. 2016(20)
[8]基于骨骼和深度信息的手势识别的研究与应用[J]. 吴彩芳,谢钧,俞璐. 计算机技术与发展. 2016(08)
[9]基于Matlab图像识别的Delta并联机械手连续轨迹规划[J]. 刘亚男,张承瑞,郎需林,仲斐,张聪. 机床与液压. 2014(15)
[10]我国工业机器人技术现状与产业化发展战略[J]. 王田苗,陶永. 机械工程学报. 2014(09)
硕士论文
[1]助行机器人使用者运动意图识别方法研究[D]. 刘子源.沈阳工业大学 2018
[2]基于姿态和骨架信息的行为识别方法研究与实现[D]. 马静.山东大学 2018
[3]基于Kinect的人体姿态识别和机器人控制[D]. 蒋亚杰.深圳大学 2017
[4]双足步行机器人的步态规划与神经网络控制[D]. 张洪宾.华南理工大学 2016
[5]双足机器人运动控制系统的研究[D]. 查望华.浙江大学 2016
[6]基于深度图像的人体运动检测及其步态分析研究[D]. 杨方波.杭州电子科技大学 2016
[7]基于Kinect彩色图像及深度信息的人体检测研究[D]. 石洋.西华大学 2016
[8]基于ARM小型双足机器人的设计与研究[D]. 魏君.石家庄铁道大学 2016
[9]基于体感的空间机器臂人机交互技术[D]. 范勇涛.西安电子科技大学 2015
[10]基于Kinect手势识别与机器人编队的人机交互系统的研究[D]. 曾军.东北大学 2015
本文编号：3264009
【文章来源】：浙江师范大学浙江省
【文章页数】：76 页
【学位级别】：硕士
【部分图文】：
KinectforXbox360PrimeSense公司研制的PS1080芯片对于Kinect非常得重要
第 3 章 姿态识别3.2.2 静态姿势实验验证Kinect 在进行人体骨骼追踪时，并不能获取精准的人体骨骼关节点，而是根据镜头前的人体的深度图像生成相对准确的 20 个骨骼关节点。根据相应骨骼关节点形成的空间向量，利用相应的算法进行计算后，可以估计人体所做的静态姿势，如双手举起等动作。本次实验主要对双手举起、左手举起右手平举、双手平举和右手平举这四个动作进行验证，其实验过程如图 3.5 所示。
通过 Kinect 设备，我们可以同时得到深度和彩色数据流。其中，深度图像中像素信息表示场景中校准后的距离信息。为了从图像中获得人体，我们可以使 Kinect 提供的前景分割功能。这个功能函数的主要思想是使用特定阈值来过背景的深度信息。本文使用 Kinect 进行深度图像采集，如图 4.2(a)所示。然后，使用 Kinect 为个对象随机分配的人体索引号获取人体所在的深度区间，进而便可得到只有人的深度图像，如图 4.2(b)所示。通过 Kinect 的骨骼追踪技术，获得人体的 20 个节点位置，利用手部关节点位置，便可获得手部的深度图和彩色图。Kinect 使激光散斑原理获取深度信息，故手部轮廓会显得粗糙，边缘上有许多孔和噪声。如果不对深度图进行处理，对后面的特征提取时，可能会造成一些误差。因，我们先对深度图进行中值滤波，使得手部轮廓平滑没有噪声点。其处理后的型二值图和彩色图，如图 4.3(a)和 4.3(b)所示。
【参考文献】：
期刊论文
[1]基于Arduino UNO的平衡车设计[J]. 丁倩雯,徐红红. 西安文理学院学报(自然科学版). 2019(01)
[2]用于创新实践教学的拟人行走智能机器人设计[J]. 傅宇杨,李知菲. 中国信息技术教育. 2018(10)
[3]基于Kinect V2.0的6自由度机械臂控制系统的实现[J]. 钟君,曹建树. 机床与液压. 2018(09)
[4]基于自然手势交互的工业机器人示教系统设计与实现[J]. 陈畅,陈亮,周雪峰. 制造业自动化. 2018(02)
[5]双足机器人步态规划方法研究[J]. 李攀,魏洪兴. 机械工程与自动化. 2017(04)
[6]基于Kinect虚拟文物互动展示系统的设计与实现[J]. 王向强,黄俊,张作运. 微型机与应用. 2017(02)
[7]基于Pixy Cmucam5图像识别传感器的物品分拣装置[J]. 张桂红. 电子制作. 2016(20)
[8]基于骨骼和深度信息的手势识别的研究与应用[J]. 吴彩芳,谢钧,俞璐. 计算机技术与发展. 2016(08)
[9]基于Matlab图像识别的Delta并联机械手连续轨迹规划[J]. 刘亚男,张承瑞,郎需林,仲斐,张聪. 机床与液压. 2014(15)
[10]我国工业机器人技术现状与产业化发展战略[J]. 王田苗,陶永. 机械工程学报. 2014(09)
硕士论文
[1]助行机器人使用者运动意图识别方法研究[D]. 刘子源.沈阳工业大学 2018
[2]基于姿态和骨架信息的行为识别方法研究与实现[D]. 马静.山东大学 2018
[3]基于Kinect的人体姿态识别和机器人控制[D]. 蒋亚杰.深圳大学 2017
[4]双足步行机器人的步态规划与神经网络控制[D]. 张洪宾.华南理工大学 2016
[5]双足机器人运动控制系统的研究[D]. 查望华.浙江大学 2016
[6]基于深度图像的人体运动检测及其步态分析研究[D]. 杨方波.杭州电子科技大学 2016
[7]基于Kinect彩色图像及深度信息的人体检测研究[D]. 石洋.西华大学 2016
[8]基于ARM小型双足机器人的设计与研究[D]. 魏君.石家庄铁道大学 2016
[9]基于体感的空间机器臂人机交互技术[D]. 范勇涛.西安电子科技大学 2015
[10]基于Kinect手势识别与机器人编队的人机交互系统的研究[D]. 曾军.东北大学 2015
本文编号：3264009
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3264009.html
