融合图像和深度信息的人机交互手部检测跟踪技术研究
发布时间：2021-07-24 21:56
人机交互技术是虚拟现实技术与增强现实技术的重要组成部分,它在人与系统之间构建了符合人类习惯的信号传输桥梁。随着智能设备的日新月异,自然人机交互的虚拟现实设备开始普及,基于这类设备的人机交互开发得到了众多关注,其中基于手部交互的技术得到了广泛研究,而手部检测跟踪技术是实现自然人机交互的前提条件。针对现有人机交互手部检测跟踪方法易受光照环境等因素影响、鲁棒性差的不足,本文提出一种融合深度与肤色特征的自适应手部检测跟踪算法,以实现复杂观测环境下的鲁棒跟踪。本文从特征描述入手选取合适的特征集合,利用具有稳定性的深度特征和具有聚类特点的肤色特征描述手部区域,选用像素灰度值描述深度数据,YCb Cr空间模型描述肤色特征。针对手部运动过程存在形变,本文基于手部运动过程中深度平滑连续性提出基于深度阈值的自适应手部检测算法,利用深度阈值实现手部检测区域的自适应尺度变化,并提出小采样集合检查结果替代遍历以提高算法效率。在检测算法的基础上本文进一步提出了融合深度与肤色特征的自适应粒子滤波跟踪算法,在粒子滤波框架下将跟踪问题转换为贝叶斯估计问题。该算法首先在粒子预测传播过程中利用自适应深度阈值实现跟踪目标区域...
【文章来源】：南京航空航天大学江苏省 211工程院校
【文章页数】：68 页
【学位级别】：硕士
【部分图文】：
虚拟座舱中手可视化的效果
南京航空航天大学硕士学位论文作为人机智能交互的重要组成部分，基于视觉的手部运动跟踪识别不仅在虚拟现实自然人机交互领域有直接的应用，而且在视觉监控、机器人控制（在远程医疗、空间、深海、辐射、战场等非确定性环境下指导机器人进行复杂作业)也具有重要应用价值，能促进信息科学与生物、环境等学科的交叉和结合。1.3 国内外研究现状随着个人计算机以及终端技术的不断发展，基于人机交互的虚拟现实成为了整个科技界的研究重点，目前对于虚拟现实人机交互的主要实现方法可以归纳为二个研究方向[2]：基于虚拟现实设备的交互和基于计算机视觉技术的交互，其中前者属于接触式交互，而后者属于非接触式交互，如图 1.2。
基于计算机视觉技术的交互，其中前者属于接触式交互，。(a) (b)图 1.2 目前主要的两种虚拟现实交互方式设备的典型代表是数据手套[3, 4]，在智能手机兴起之前虚拟案的首选，它不仅可以提供整个手部的三维信号，而且这在价格昂贵、穿戴不适、约束手部活动以及易损坏等问题
【参考文献】：
期刊论文
[1]基于Kinect的手势跟踪概述[J]. 刘佳,郑勇,张小瑞,偰冬慧,陆熊. 计算机应用研究. 2015(07)
[2]基于Kinect深度信息的手指及手部跟踪研究[J]. 李吉,顾德,刘飞. 计算机应用与软件. 2015(03)
[3]粒子滤波算法[J]. 王法胜,鲁明羽,赵清杰,袁泽剑. 计算机学报. 2014(08)
[4]一种适应光线变化的运动手势检测与跟踪方法[J]. 李志明,张崎,武霞. 电子科技. 2014(04)
[5]采用SIFT-BoW和深度图像信息的中国手语识别研究[J]. 杨全,彭进业. 计算机科学. 2014(02)
[6]基于Kinect的实时稳定的三维多手指跟踪算法[J]. 晏浩,张明敏,童晶,潘志庚. 计算机辅助设计与图形学学报. 2013(12)
[7]复杂环境中多信息融合的手势识别[J]. 赵爱芳,裴东,王全州,杨鸿武,安占福. 计算机工程与应用. 2014(05)
[8]基于Kinect传感器深度信息的动态手势识别[J]. 陶丽君,李翠华,张希婧,李胜睿. 厦门大学学报(自然科学版). 2013(04)
[9]基于Kinect深度信息的人体运动跟踪算法[J]. 杨晓敏,张奇志,周亚丽. 北京信息科技大学学报(自然科学版). 2013(01)
[10]基于区域生长的Mean shift动态变形手势跟踪算法[J]. 张秋余,胡建强,张墨逸. 模式识别与人工智能. 2010(04)
博士论文
[1]增强半虚拟现实飞机座舱关键技术研究[D]. 汤勇.南京航空航天大学 2012
[2]面向虚拟现实飞行模拟训练的视觉手交互技术研究[D]. 周来.南京航空航天大学 2012
[3]粒子滤波跟踪方法研究[D]. 姚剑敏.中国科学院研究生院（长春光学精密机械与物理研究所） 2005
硕士论文
[1]基于视频的机场跑道异物检测算法研究[D]. 周扬.南京航空航天大学 2014
[2]基于Kinect的手势识别技术及其在教学中的应用[D]. 陈静.上海交通大学 2013
[3]手部检测及运动跟踪算法研究[D]. 于义雪.哈尔滨工程大学 2013
[4]基于RGB-Depth摄像机的手势交互技术研究与实现[D]. 孙慕杰.湖南大学 2012
[5]基于深度信息的手势检测与跟踪[D]. 陈子毫.华南理工大学 2012
[6]基于深度信息和彩色图像的手势识别[D]. 何小磊.华中科技大学 2012
[7]跨文化交际中的非语言行为[D]. 李莉莉.黑龙江大学 2004
本文编号：3301504
【文章来源】：南京航空航天大学江苏省 211工程院校
【文章页数】：68 页
【学位级别】：硕士
【部分图文】：
虚拟座舱中手可视化的效果
南京航空航天大学硕士学位论文作为人机智能交互的重要组成部分，基于视觉的手部运动跟踪识别不仅在虚拟现实自然人机交互领域有直接的应用，而且在视觉监控、机器人控制（在远程医疗、空间、深海、辐射、战场等非确定性环境下指导机器人进行复杂作业)也具有重要应用价值，能促进信息科学与生物、环境等学科的交叉和结合。1.3 国内外研究现状随着个人计算机以及终端技术的不断发展，基于人机交互的虚拟现实成为了整个科技界的研究重点，目前对于虚拟现实人机交互的主要实现方法可以归纳为二个研究方向[2]：基于虚拟现实设备的交互和基于计算机视觉技术的交互，其中前者属于接触式交互，而后者属于非接触式交互，如图 1.2。
基于计算机视觉技术的交互，其中前者属于接触式交互，。(a) (b)图 1.2 目前主要的两种虚拟现实交互方式设备的典型代表是数据手套[3, 4]，在智能手机兴起之前虚拟案的首选，它不仅可以提供整个手部的三维信号，而且这在价格昂贵、穿戴不适、约束手部活动以及易损坏等问题
【参考文献】：
期刊论文
[1]基于Kinect的手势跟踪概述[J]. 刘佳,郑勇,张小瑞,偰冬慧,陆熊. 计算机应用研究. 2015(07)
[2]基于Kinect深度信息的手指及手部跟踪研究[J]. 李吉,顾德,刘飞. 计算机应用与软件. 2015(03)
[3]粒子滤波算法[J]. 王法胜,鲁明羽,赵清杰,袁泽剑. 计算机学报. 2014(08)
[4]一种适应光线变化的运动手势检测与跟踪方法[J]. 李志明,张崎,武霞. 电子科技. 2014(04)
[5]采用SIFT-BoW和深度图像信息的中国手语识别研究[J]. 杨全,彭进业. 计算机科学. 2014(02)
[6]基于Kinect的实时稳定的三维多手指跟踪算法[J]. 晏浩,张明敏,童晶,潘志庚. 计算机辅助设计与图形学学报. 2013(12)
[7]复杂环境中多信息融合的手势识别[J]. 赵爱芳,裴东,王全州,杨鸿武,安占福. 计算机工程与应用. 2014(05)
[8]基于Kinect传感器深度信息的动态手势识别[J]. 陶丽君,李翠华,张希婧,李胜睿. 厦门大学学报(自然科学版). 2013(04)
[9]基于Kinect深度信息的人体运动跟踪算法[J]. 杨晓敏,张奇志,周亚丽. 北京信息科技大学学报(自然科学版). 2013(01)
[10]基于区域生长的Mean shift动态变形手势跟踪算法[J]. 张秋余,胡建强,张墨逸. 模式识别与人工智能. 2010(04)
博士论文
[1]增强半虚拟现实飞机座舱关键技术研究[D]. 汤勇.南京航空航天大学 2012
[2]面向虚拟现实飞行模拟训练的视觉手交互技术研究[D]. 周来.南京航空航天大学 2012
[3]粒子滤波跟踪方法研究[D]. 姚剑敏.中国科学院研究生院（长春光学精密机械与物理研究所） 2005
硕士论文
[1]基于视频的机场跑道异物检测算法研究[D]. 周扬.南京航空航天大学 2014
[2]基于Kinect的手势识别技术及其在教学中的应用[D]. 陈静.上海交通大学 2013
[3]手部检测及运动跟踪算法研究[D]. 于义雪.哈尔滨工程大学 2013
[4]基于RGB-Depth摄像机的手势交互技术研究与实现[D]. 孙慕杰.湖南大学 2012
[5]基于深度信息的手势检测与跟踪[D]. 陈子毫.华南理工大学 2012
[6]基于深度信息和彩色图像的手势识别[D]. 何小磊.华中科技大学 2012
[7]跨文化交际中的非语言行为[D]. 李莉莉.黑龙江大学 2004
本文编号：3301504
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3301504.html
