基于Kinect的手势动作识别技术研究
发布时间：2021-01-28 21:19
手势识别是计算机领域中一个重要且具有挑战性的研究课题,同时作为人机交互的重要组成部分,其发展影响着人机交互的自然性和灵活性。然而,传统手势识别方案以彩色及深度图像为研究对象,在特征提取时常常受到肤色、复杂背景、遮挡重叠等因素干扰,难以准确地分割手势。在分类阶段,传统分类模型存在着样本需求量大及识别率低等缺点。因此,本文利用Kinect深度传感器获取的骨骼信息为研究对象,以减少应用场景对特征提取的影响;并针对两种手势动作识别问题分别设计了特征提取方案,即:人工设计提取几何特征和双路卷积神经网络（Convolutional Neural Networks,CNN）提取随机特征;此外利用长短期记忆网络（Long Short Term Memory Network,LSTM）构建分类模型对手势动作进行识别。本文主要研究内容如下:（1）鉴于手势动作识别可以视为时间序列分析问题,本文利用LSTM对序列的上下文信息进行建模。同时,为了将手势序列的多个时间尺度信息在全局范围内得到融合,实现输入数据的高级抽象,构建了多层级LSTM堆栈的分类模型。并通过对比不同层级堆栈的实验结果,确定了四层级LSTM为最...
【文章来源】：长春理工大学吉林省
【文章页数】：72 页
【学位级别】：硕士
【部分图文】：
新型
窘细摺＜?谏鲜龇治觯?疚亩曰?贙inect深度传感器的手势识别技术进行了研究。1.2国内外研究现状近年来，手势识别技术以自然性和灵活性的特点在人机交互领域得到了普遍的关注和重视，并逐渐成为主流的交互方式[13;14]。同时，伴随着手势识别技术在各种智能终端的大量应用，吸引了众多国内外研究者对其进行深入的研究。根据手势获取的方式可以划分为：基于数据手套的手势识别和基于视觉的手势识别。1.2.1基于数据手套的手势识别数据手套是一种能够穿戴的交互设备，装有若干能够采集相关数据信息的传感器，其外观结构如图1.2所示。数据手套作为人与虚拟对象联系的桥梁[15]，推开了非接触式交互的大门，这种沉浸式的交互手段依赖于快速精确的特性极大地提升了使用者的体验。因此，一时间内研究学者们争相投入研究。图1.2数据手套在国外，贝尔实验室的Grimes教授领导研究团队在1983年获取数据手套的专利，使得研究者们开始对基于数据手套的手势识别展开研究[16]。卡内基梅隆大学的CLee和YXu通过CyberGlove数据手套获取手势信息，并利用隐马尔可夫模型(HiddenMarkovModel，HMM)对14种不同手势进行交互识别[17]。新南威尔士大学的KadousMW使用数据手套采集了95种澳大利亚手语，并利用基于实例的学习和决策树学习的方法对数据集的识别率达到80%[18]。LuzaninO采用低成本的5-sensor数据手套获取手势数据，并利用三种类型的聚类算法有效地减少了训练数据集，最后结合基于概率神经网络(PNN)对手势进行识别[19]。
第2章Kinect深度传感器与相关基础理论7第2章Kinect深度传感器与相关基础理论2.1Kinect深度传感器源于消费者对自然人机交互的渴望与追求，微软在2010年发布的体感外设Kinect1.0取得了空前的成功，当时被吉尼斯世界组织评为有史以来销售最快的电子产品。Kinect深度传感器是一种3D体感摄影机，除了能够实时捕捉用户在三维空间的运动信息，还具备语音辨识、麦克风输入等多种功能。两年后，微软正式发布了与之配套的KinectforWindowsSDK，开发者们利用其强大的功能将Kinect广泛应用各个领域。2014年，微软又发布了Kinect2.0，其外观如图2.1所示。图2.1Kinect深度传感器2.1.1Kinect硬件组成及开发环境Kinect2.0的硬件组成主要由PS1080系统级芯片和信息采集模块组成，其彩色摄像头、红外发射器和深度摄像头模块，用来获取彩色图像和深度图像。彩色摄像头用来捕获目标场景的高清彩色图像及视频信息，平均每秒能够获取30帧的图像数据；红外发射器用来向目标区域发射脉冲光，深度摄像头用来接收脉冲光并进行分析，创建目标区域可视范围内的深度图像。另外，配有阵列麦克风模块用来定位声源及过滤噪声。Kinect2.0的具体参数如下表2.1所示：表2.1Kinect2.0具体参数参数名设定值彩色摄像头分辨率19201080深度摄像头分辨率512424视野角度水平57，垂直43检测范围0.5-4.5m麦克风音效6bit，16khz为了实验性能的需求，Kinect对开发环境也有一定的要求。其硬件方面：要求i52.3GHz以上的CPU，64位处理器及Window8操作系统以上，运行内存4G以上并具备USB3.0接口的计算机；其软件方面主要是微软提供的KinectforWindowsSDK进行开发，其与应用程序之间的交互如图2.2所示。KinectSDK中包含丰富的软件库和
【参考文献】：
期刊论文
[1]基于融合卷积神经网络的协同过滤模型[J]. 杨锡慧. 软件导刊. 2017(12)
[2]一种改进的DTW动态手势识别方法[J]. 李凯,王永雄,孙一品. 小型微型计算机系统. 2016(07)
[3]混合现实中的人机交互综述[J]. 黄进,韩冬奇,陈毅能,田丰,王宏安,戴国忠. 计算机辅助设计与图形学学报. 2016(06)
[4]基于Kinect骨骼数据的静态三维手势识别[J]. 李红波,丁林建,吴渝,冉光勇. 计算机应用与软件. 2015(09)
[5]基于YCbCr颜色空间背景建模与手势阴影消除[J]. 史东承,倪康. 中国光学. 2015(04)
[6]基于颜色均衡和椭圆模型的手势图像分割[J]. 严秋锋,王红茹,季鸣. 计算机仿真. 2015(04)
[7]基于Kinect传感器的智能轮椅手势控制系统的设计与实现[J]. 罗元,谢彧,张毅. 机器人. 2012(01)
[8]手势识别技术及其在人机交互中的应用[J]. 李清水,方志刚,沈模卫,陈育伟. 人类工效学. 2002(01)
[9]一种面向遥操作的新型数据手套研制[J]. 王家顺,王田苗,魏军,韩壮志,游松. 机器人. 2000(03)
[10]基于DGMM的中国手语识别系统[J]. 吴江琴,高文. 计算机研究与发展. 2000(05)
博士论文
[1]基于裸手的自然人机交互关键算法研究[D]. 廖赟.云南大学 2012
硕士论文
[1]基于Kinect的骨骼追踪及肢体动作识别研究[D]. 刘娇.西安工业大学 2016
本文编号：3005710
【文章来源】：长春理工大学吉林省
【文章页数】：72 页
【学位级别】：硕士
【部分图文】：
新型
窘细摺＜?谏鲜龇治觯?疚亩曰?贙inect深度传感器的手势识别技术进行了研究。1.2国内外研究现状近年来，手势识别技术以自然性和灵活性的特点在人机交互领域得到了普遍的关注和重视，并逐渐成为主流的交互方式[13;14]。同时，伴随着手势识别技术在各种智能终端的大量应用，吸引了众多国内外研究者对其进行深入的研究。根据手势获取的方式可以划分为：基于数据手套的手势识别和基于视觉的手势识别。1.2.1基于数据手套的手势识别数据手套是一种能够穿戴的交互设备，装有若干能够采集相关数据信息的传感器，其外观结构如图1.2所示。数据手套作为人与虚拟对象联系的桥梁[15]，推开了非接触式交互的大门，这种沉浸式的交互手段依赖于快速精确的特性极大地提升了使用者的体验。因此，一时间内研究学者们争相投入研究。图1.2数据手套在国外，贝尔实验室的Grimes教授领导研究团队在1983年获取数据手套的专利，使得研究者们开始对基于数据手套的手势识别展开研究[16]。卡内基梅隆大学的CLee和YXu通过CyberGlove数据手套获取手势信息，并利用隐马尔可夫模型(HiddenMarkovModel，HMM)对14种不同手势进行交互识别[17]。新南威尔士大学的KadousMW使用数据手套采集了95种澳大利亚手语，并利用基于实例的学习和决策树学习的方法对数据集的识别率达到80%[18]。LuzaninO采用低成本的5-sensor数据手套获取手势数据，并利用三种类型的聚类算法有效地减少了训练数据集，最后结合基于概率神经网络(PNN)对手势进行识别[19]。
第2章Kinect深度传感器与相关基础理论7第2章Kinect深度传感器与相关基础理论2.1Kinect深度传感器源于消费者对自然人机交互的渴望与追求，微软在2010年发布的体感外设Kinect1.0取得了空前的成功，当时被吉尼斯世界组织评为有史以来销售最快的电子产品。Kinect深度传感器是一种3D体感摄影机，除了能够实时捕捉用户在三维空间的运动信息，还具备语音辨识、麦克风输入等多种功能。两年后，微软正式发布了与之配套的KinectforWindowsSDK，开发者们利用其强大的功能将Kinect广泛应用各个领域。2014年，微软又发布了Kinect2.0，其外观如图2.1所示。图2.1Kinect深度传感器2.1.1Kinect硬件组成及开发环境Kinect2.0的硬件组成主要由PS1080系统级芯片和信息采集模块组成，其彩色摄像头、红外发射器和深度摄像头模块，用来获取彩色图像和深度图像。彩色摄像头用来捕获目标场景的高清彩色图像及视频信息，平均每秒能够获取30帧的图像数据；红外发射器用来向目标区域发射脉冲光，深度摄像头用来接收脉冲光并进行分析，创建目标区域可视范围内的深度图像。另外，配有阵列麦克风模块用来定位声源及过滤噪声。Kinect2.0的具体参数如下表2.1所示：表2.1Kinect2.0具体参数参数名设定值彩色摄像头分辨率19201080深度摄像头分辨率512424视野角度水平57，垂直43检测范围0.5-4.5m麦克风音效6bit，16khz为了实验性能的需求，Kinect对开发环境也有一定的要求。其硬件方面：要求i52.3GHz以上的CPU，64位处理器及Window8操作系统以上，运行内存4G以上并具备USB3.0接口的计算机；其软件方面主要是微软提供的KinectforWindowsSDK进行开发，其与应用程序之间的交互如图2.2所示。KinectSDK中包含丰富的软件库和
【参考文献】：
期刊论文
[1]基于融合卷积神经网络的协同过滤模型[J]. 杨锡慧. 软件导刊. 2017(12)
[2]一种改进的DTW动态手势识别方法[J]. 李凯,王永雄,孙一品. 小型微型计算机系统. 2016(07)
[3]混合现实中的人机交互综述[J]. 黄进,韩冬奇,陈毅能,田丰,王宏安,戴国忠. 计算机辅助设计与图形学学报. 2016(06)
[4]基于Kinect骨骼数据的静态三维手势识别[J]. 李红波,丁林建,吴渝,冉光勇. 计算机应用与软件. 2015(09)
[5]基于YCbCr颜色空间背景建模与手势阴影消除[J]. 史东承,倪康. 中国光学. 2015(04)
[6]基于颜色均衡和椭圆模型的手势图像分割[J]. 严秋锋,王红茹,季鸣. 计算机仿真. 2015(04)
[7]基于Kinect传感器的智能轮椅手势控制系统的设计与实现[J]. 罗元,谢彧,张毅. 机器人. 2012(01)
[8]手势识别技术及其在人机交互中的应用[J]. 李清水,方志刚,沈模卫,陈育伟. 人类工效学. 2002(01)
[9]一种面向遥操作的新型数据手套研制[J]. 王家顺,王田苗,魏军,韩壮志,游松. 机器人. 2000(03)
[10]基于DGMM的中国手语识别系统[J]. 吴江琴,高文. 计算机研究与发展. 2000(05)
博士论文
[1]基于裸手的自然人机交互关键算法研究[D]. 廖赟.云南大学 2012
硕士论文
[1]基于Kinect的骨骼追踪及肢体动作识别研究[D]. 刘娇.西安工业大学 2016
本文编号：3005710
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3005710.html
