基于视觉的人机交互动作识别研究与DSP实现

发布时间：2017-06-23 18:13

  本文关键词：基于视觉的人机交互动作识别研究与DSP实现，由笔耕文化传播整理发布。

【摘要】：随着人工智能研究及应用的不断发展与成熟,其重要研究分支人机交互技术也逐渐从传统的接触式向非接触式、界面式向自然式发展,如基于听觉的语音识别技术和基于视觉的图像识别技术。但相比语音信号,图像信号更具稳定性,可以承载更丰富的信息,所以基于视觉的人机交互技术吸引着大量学者和工程师的兴趣,成为当前一个研究热点。基于视觉的人机交互技术关键是对以人为核心的图像识别,尤其对人体各种姿势动作的识别和理解。目前该技术已经广泛应用或者正在尝试应用于服务机器人、智能家居、智慧城市以及智能安防等诸多领域。目前基于视觉的人机交互技术实现普遍只针对有限的简单肢体动作,如跑步、走路、原地跳等,并且有严格的条件限制,如必须正对摄像头,不可以多个人体出现,只适合简单背景环境等。此外,相关算法通常存在计算量大、内存消耗严重、不适合嵌入式微型化发展等问题。为提高基于视觉的人机交互技术普适性,增强在真实自然环境下的实用性,本论文以基于视觉的智能家居人机交互系统设计开发为实践,对所定义的7种一般性、通用性的人机交互手势动作在自然环境下的识别进行了探究,并重点对各动作的特征提取、特征建模和识别理解分别进行了较深入的研究,同时提出新的方法和思路。经实验测试,本系统对手势动作识别准确度达79%以上,交互工作效率达75%以上,并且可以适应不同的自然环境,工作过程与人体的空间位置、尺寸几乎无关。本论文的主要工作及创新有以下几点:(1)以TI的DM642 DSP为视觉图像处理器,以ARM7为主控制器,设计并搭建了基于视觉人机交互的智能家居管理系统实验平台。定义了一套智能家居交互动作手势集,包括启动选择、选择肯定、选择否定、开关切换、功能上翻、功能下翻、暂停7种动作指令。(2)在手势动作目标检测阶段,提出了基于最近邻域像素梯度稳定性(N2PG)的视频背景快速提取方法,解决了基于视觉的嵌入式人机交互设备,在真实自然环境中目标检测跟踪困难的问题。(3)在手势动作的初次识别阶段,利用HMM模型并基于静态特征记录表的统计特征,解决了利用单帧图像特征进行动作识别抗干扰性差的问题,并且特征记录表中每条静态特征提取使用归一化的几何矩和低频傅里叶描述子,实现了识别的方向无关、尺寸无关和位置无关。(4)在手势动作识别二次校验阶段,提出基于速度方向变化特征的二-八码(8位二进制编码)校验方法,实现对初步识别结果的快速匹配校验或者补充识别,大大提高人机交互系统对手势的识别准确度和鲁棒性。
【关键词】：机器视觉 人机交互 DSP HMM模型 手势识别 嵌入式
【学位授予单位】：太原理工大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP391.41
【目录】：

• 摘要3-5
• ABSTRACT5-14
• 第一章 绪论14-26
• 1.1 研究背景14-16
• 1.2 国内外研究及现状16-21
• 1.2.1 机器视觉技术的发展16-19
• 1.2.2 人机交互技术发展及现状19-21
• 1.3 本课题的来源及研究意义21-22
• 1.4 本文工作安排22-26
• 第二章 实验平台设计26-42
• 2.1 系统设计原理及工作方式介绍26-31
• 2.1.1 系统结构及原理26-27
• 2.1.2 系统交互手势定义27-29
• 2.1.3 人机交互模式29-31
• 2.2 实验平台硬件设计及成品展示31-36
• 2.2.1 智能控制中心设计及特性32-34
• 2.2.2 视觉成员设计及特性34-35
• 2.2.3 智能灯设计及特性35-36
• 2.3 系统软件架构设计36-40
• 2.3.1 智能控制中心程序设计36-38
• 2.3.2 视觉成员程序设计38-40
• 2.4 本章小结40-42
• 第三章 目标像素区域检测及分割42-56
• 3.1 目标检测算法概述42-44
• 3.1.1 光流法42-43
• 3.1.2 vibe目标检测43
• 3.1.3 背景相减法43-44
• 3.2 N2PG实时背景提取算法分析44-50
• 3.2.1 相关定义44-45
• 3.2.2 最近邻域像素梯度值特征分析45-46
• 3.2.3 二值图像模型算法分析46-48
• 3.2.4 N2PG背景提取效果比对48-50
• 3.3 手势目标检测50-53
• 3.3.1 基于N2PG背景提取50-52
• 3.3.2 N2PG稳定性阈值动态估计52
• 3.3.3 目标像素检测52-53
• 3.4 手势图像分割53-54
• 3.5 本章小结54-56
• 第四章 交互手势特征提取与识别56-72
• 4.1 人机交互手势动作特点分析56-58
• 4.2 手势动作基本特征提取58-62
• 4.2.1 几何矩理论58-59
• 4.2.2 傅里叶描述子59-60
• 4.2.3 静态基本特征提取60-61
• 4.2.4 动态基本特征提取61-62
• 4.3 特征记录表状态分析62-67
• 4.3.1 静态统计特征描述62-66
• 4.3.2 动态特征编码（二-八码）66-67
• 4.4 交互手势动作识别67-71
• 4.4.1 隐马尔科夫模型67-68
• 4.4.2 参数分析与训练68-69
• 4.4.3 手势识别69-71
• 4.5 本章小结71-72
• 第五章 算法检验及DSP实现72-84
• 5.1 DSP实现的工作原理及关键配置72-77
• 5.1.1 DSP工作原理72-73
• 5.1.2 基于DSP/BOIS软件开发简介73-75
• 5.1.3 DSP关键配置75-77
• 5.2 系统实验性能测试77-82
• 5.2.1 公共数据集77-79
• 5.2.2 自建数据集79
• 5.2.3 实验及结果总结79-82
• 5.3 本章小结82-84
• 第六章 结论与展望84-86
• 参考文献86-92
• 致谢92-94
• 攻读硕士学位期间发表学术论文94

【相似文献】

中国期刊全文数据库 前10条

1 胡雅琴;;动作识别技术及其发展[J];电视技术;2013年S2期

2 倪世宏,史忠科,谢川,王彦鸿;军用战机机动飞行动作识别知识库的建立[J];计算机仿真;2005年04期

3 程祥;;人体动作识别的研究[J];电脑知识与技术;2006年20期

4 黄飞跃;徐光yP;;视角无关的动作识别[J];软件学报;2008年07期

5 徐光yP;曹媛媛;;动作识别与行为理解综述[J];中国图象图形学报;2009年02期

6 黄丽鸿;高智勇;刘海华;;基于脉冲神经网络的人体动作识别[J];现代科学仪器;2012年02期

7 周艳青;王磊;;基于视觉的人体动作识别综述[J];山东轻工业学院学报(自然科学版);2012年01期

8 曹琨;;基于检索表的实时动作识别技术研究[J];中外企业家;2014年05期

9 刘博;安建成;;基于关键姿势的人体动作识别[J];电视技术;2014年05期

10 王燕;张绍武;凌志刚;潘泉;;基于图嵌入线性拓展方法的人体动作识别研究[J];计算机仿真;2008年10期

中国重要会议论文全文数据库 前7条

1 袁飞;程韬波;周松斌;肖先文;;基于加速度特征的可拓动作识别方法[A];广州市仪器仪表学会2009年学术年会论文集[C];2010年

2 黄飞跃;徐光yP;;自然的人体动作识别[A];第三届和谐人机环境联合学术会议（HHME2007）论文集[C];2007年

3 叶喜勇;陶霖密;王国建;邸慧军;;视角无关的人体躯干动作识别[A];第六届和谐人机环境联合学术会议（HHME2010)、第19届全国多媒体学术会议（NCMT2010）、第6届全国人机交互学术会议（CHCI2010）、第5届全国普适计算学术会议（PCC2010）论文集[C];2010年

4 黄艳欢;叶少珍;;连续动作分割综述[A];第十四届全国图象图形学学术会议论文集[C];2008年

5 董力赓;陶霖密;徐光yP;;头部姿态和动作的识别与理解[A];第三届和谐人机环境联合学术会议（HHME2007）论文集[C];2007年

6 朱岩;赵旭;刘允才;;基于稀疏编码和局部时空特征的人体动作识别[A];第十五届全国图象图形学学术会议论文集[C];2010年

7 席旭刚;金燕;朱海港;高云园;;基于小波包熵和支持向量机的手部肌电信号动作识别[A];2013年中国智能自动化学术会议论文集（第五分册）[C];2013年

中国重要报纸全文数据库 前2条

1 本报记者 陈丹;人与机器的“对话”[N];科技日报;2010年

2 ;凌空敲键盘？无线计算机手套问世[N];中国计算机报;2004年

中国博士学位论文全文数据库 前10条

1 谌先敢;现实环境下的人体动作识别[D];武汉大学;2012年

2 陈渊博;视频序列中的人体动作识别[D];北京邮电大学;2015年

3 刘翠微;视频中人的动作分析与理解[D];北京理工大学;2015年

4 陈萌;基于李代数高斯表示的动作识别方法研究[D];华中科技大学;2016年

5 任海兵;非特定人自然的人体动作识别[D];清华大学;2003年

6 成娟;基于表面肌电和加速度信号融合的动作识别和人体行为分析研究[D];中国科学技术大学;2013年

7 邓小宇;面向智能视频监控的前景提取和动作识别技术研究[D];浙江大学;2012年

8 邓利群;三维人体动作识别及其在交互舞蹈系统上的应用[D];中国科学技术大学;2012年

9 曹雏清;面向多方式人际交互的肢体动作识别研究[D];哈尔滨工业大学;2012年

10 吴心筱;图像序列中人的姿态估计与动作识别[D];北京理工大学;2010年

中国硕士学位论文全文数据库 前10条

1 张思亮;体感交互系统的人体动作识别研究[D];华南理工大学;2015年

2 应锐;基于关键帧及原语的人体动作识别研究[D];复旦大学;2014年

3 陈凌琛;基于Kinect的动作识别研究及在教学中的应用[D];昆明理工大学;2015年

4 张孙培;基于关节数据和极限学习机的人体动作识别[D];南京理工大学;2015年

5 邱春明;基于运动幅度变化率的视频人体动作识别[D];河北大学;2015年

6 康钦谋;视频人体动作识别算法研究[D];电子科技大学;2015年

7 刘海军;基于时空流形学习的人体动作识别[D];电子科技大学;2014年

8 梁燕;交互应用中的实时动作识别[D];北京理工大学;2015年

9 冷晶晶;基于光编码技术的人员入侵智能报警系统[D];西安石油大学;2015年

10 马叶涵;基于Kinect的办公健康分析系统的设计与实现[D];哈尔滨工业大学;2015年

  本文关键词：基于视觉的人机交互动作识别研究与DSP实现，由笔耕文化传播整理发布。

，

本文编号：475887