当前位置:主页 > 科技论文 > 软件论文 >

基于Kinect行为识别技术的体感辅助形体交互模式研究与实现

发布时间:2019-01-04 07:31
【摘要】:随着科技的迅猛发展,在产品设计领域,以满足基本功能需求为目标的设计逐渐转变为以关注使用者感性需求为导向。近年来,虚拟现实和体感交互技术的巨大发展也为计算机辅助产品设计创造了更加丰富多样的方式,极大地提高了产品设计的效率和人机交互友好性。本研究以人机交互、计算机图形学等理论为基础,基于Kinect平台开发一种基于行为识别和虚拟现实技术的体感辅助形体交互系统(Somatosensory Aided Shape Interaction,简称SASI),将体感技术引入到产品设计系统中,从而增加产品设计系统的可操作性以及可用性,对于提升产品设计系统的交互体验具有一定意义。对SASI系统的框架进行搭建,通过分析用户对产品设计和人机交互中的功能需求和非功能需求的分析,得到SASI系统的基本要素;对系统场景进行设计,建立场景间的层级式逻辑关系,对各个分场景及相互的接口进行分析和设计,研究各个场景的效果设置和实现的功能;基于图形学相关原理,得到光线追踪和碰撞检测算法综合计算得到的交点处的空间信息;通过对相关数据进行坐标变换,获得它们在相应坐标系下的坐标,从而完成与SASI系统UI控件进行交互的功能。针对现有动作识别算法识别高相似度动作能力的不足,提出一种稳定高效的高相似度动作搜索与识别算法。利用Kinect的深度数据流和骨骼数据流获得相关关节的信息,利用该信息定义人体结构特征向量模之比和结构特征角,从而获得相关数据的稳定的特征量来描述目标动作。分析变量之间的关联性,将相关向量数据输入改进后的BP神经网络进行学习,进而建立行为识别算法的完整模型,并验证所提取特征向量的有效性。其中,特征向量的提取方法与神经网络学习是该算法的关键。对SASI系统的人机交互模块的各项功能进行研究和实现,分析Kinect硬件与SASI系统的交互原理和相关接口功能的实现方法,研究Kinect API提供的包括彩色数据流和深度数据流在内的重要数据流的工作原理和使用方法,并通过Kinect相关数据流获得人体关节位置信息和旋转信息,从而完成对人体目标行为的识别,完成对SASI系统的手势交互。最后基于上述研究实现SASI系统的各个模块的人机交互功能并对其进行实例验证。
[Abstract]:With the rapid development of science and technology, in the field of product design, the design which aims to meet the basic functional needs is gradually changed to focus on the emotional needs of users. In recent years, the great development of virtual reality and body sense interaction technology has also created more rich and diverse ways for computer-aided product design, greatly improving the efficiency of product design and human-computer interaction friendliness. Based on the theories of human-computer interaction and computer graphics, and based on Kinect platform, this paper develops a kind of body interaction system (Somatosensory Aided Shape Interaction, (SASI),) based on behavior recognition and virtual reality technology. In order to increase the operability and usability of the product design system, it is significant to introduce the technology of body feeling into the product design system, which is helpful to enhance the interactive experience of the product design system. The framework of the SASI system is built, and the basic elements of the SASI system are obtained by analyzing the functional and non-functional requirements in product design and human-computer interaction. The design of the system scene, the establishment of the hierarchical logical relationship between the scenes, the analysis and design of each sub-scene and their interfaces, the study of the effect of each scene setting and implementation of the function; Based on the principle of graphic correlation, the spatial information of intersection is obtained by the integrated calculation of ray tracing and collision detection algorithm. Through the coordinate transformation of the related data, the coordinate of them in the corresponding coordinate system is obtained, and the function of interacting with the UI control of the SASI system is completed. A stable and efficient motion search and recognition algorithm with high similarity is proposed to overcome the shortcomings of the existing motion recognition algorithms. The depth data stream and bone data stream of Kinect are used to obtain the information of related joints, and the ratio of structural feature vector modules and the structural feature angle are defined by this information, and the stable feature quantity of the relevant data is obtained to describe the target action. The correlation between variables is analyzed and the correlation vector data is input to the improved BP neural network for learning. Then the complete model of the behavior recognition algorithm is established and the validity of the extracted feature vectors is verified. The extraction method of feature vector and the learning of neural network are the key of the algorithm. The functions of man-machine interaction module of SASI system are studied and realized. The interaction principle of Kinect hardware and SASI system and the realization method of related interface function are analyzed. This paper studies the working principle and using method of important data flow, including color data stream and deep data stream provided by Kinect API, and obtains joint position information and rotation information through Kinect data stream. Thus the recognition of human target behavior and gesture interaction to SASI system are completed. Finally, the man-machine interaction function of each module of SASI system is realized based on the above research and verified by an example.
【学位授予单位】:哈尔滨工业大学
【学位级别】:硕士
【学位授予年份】:2017
【分类号】:TP311.52

【相似文献】

相关期刊论文 前10条

1 刘相滨,向坚持,王胜春;人行为识别与理解研究探讨[J];计算机与现代化;2004年12期

2 李宁;须德;傅晓英;袁玲;;结合人体运动特征的行为识别[J];北京交通大学学报;2009年02期

3 张伟东;陈峰;徐文立;杜友田;;基于阶层多观测模型的多人行为识别[J];清华大学学报(自然科学版);2009年07期

4 吴联世;夏利民;罗大庸;;人的交互行为识别与理解研究综述[J];计算机应用与软件;2011年11期

5 申晓霞;张桦;高赞;薛彦兵;徐光平;;一种鲁棒的基于深度数据的行为识别算法[J];光电子.激光;2013年08期

6 郑胤;陈权崎;章毓晋;;深度学习及其在目标和行为识别中的新进展[J];中国图象图形学报;2014年02期

7 曾青松;余明辉;贺卫国;李玲;;一种行为识别的新方法[J];昆明理工大学学报(理工版);2009年06期

8 谷军霞;丁晓青;王生进;;基于人体行为3D模型的2D行为识别[J];自动化学报;2010年01期

9 李英杰;尹怡欣;邓飞;;一种有效的行为识别视频特征[J];计算机应用;2011年02期

10 王新旭;;基于视觉的人体行为识别研究[J];中国新通信;2012年21期

相关会议论文 前8条

1 苗强;周兴社;於志文;倪红波;;一种非觉察式的睡眠行为识别技术研究[A];第18届全国多媒体学术会议(NCMT2009)、第5届全国人机交互学术会议(CHCI2009)、第5届全国普适计算学术会议(PCC2009)论文集[C];2009年

2 齐娟;陈益强;刘军发;;基于多模信息感知与融合的行为识别[A];第18届全国多媒体学术会议(NCMT2009)、第5届全国人机交互学术会议(CHCI2009)、第5届全国普适计算学术会议(PCC2009)论文集[C];2009年

3 方帅;曹洋;王浩;;视频监控中的行为识别[A];2007中国控制与决策学术年会论文集[C];2007年

4 黄紫藤;吴玲达;;监控视频中简单人物行为识别研究[A];第18届全国多媒体学术会议(NCMT2009)、第5届全国人机交互学术会议(CHCI2009)、第5届全国普适计算学术会议(PCC2009)论文集[C];2009年

5 安国成;罗志强;李洪研;;改进运动历史图的异常行为识别算法[A];第八届中国智能交通年会优秀论文集——智能交通与安全[C];2013年

6 王忠民;曹栋;;坐标转换在移动用户行为识别中的应用研究[A];2013年全国通信软件学术会议论文集[C];2013年

7 郭迪;孙富春;刘华平;黄文炳;;基于Kinect的冗余机械臂直线推移操作控制[A];2013年中国智能自动化学术会议论文集(第三分册)[C];2013年

8 刘威;李石坚;潘纲;;uRecorder:基于位置的社会行为自动日志[A];第18届全国多媒体学术会议(NCMT2009)、第5届全国人机交互学术会议(CHCI2009)、第5届全国普适计算学术会议(PCC2009)论文集[C];2009年

相关重要报纸文章 前3条

1 李晨光;导入CIS要注意什么?[N];河北经济日报;2001年

2 农发行鹿邑支行党支部书记 行长 刘永贞;发行形象与文化落地农[N];周口日报;2007年

3 东林;行为识别新技术让监控没有“死角”[N];人民公安报;2007年

相关博士学位论文 前10条

1 邵延华;基于计算机视觉的人体行为识别研究[D];重庆大学;2015年

2 仝钰;基于条件随机场的智能家居行为识别研究[D];大连海事大学;2015年

3 冯银付;多模态人体行为识别技术研究[D];浙江大学;2015年

4 姜新波;基于三维骨架序列的人体行为识别研究[D];山东大学;2015年

5 裴利沈;视频中人体行为识别若干问题研究[D];电子科技大学;2016年

6 周同驰;行为识别中基于局部时空关系的特征模型研究[D];东南大学;2016年

7 徐海燕;复杂环境下行为识别特征提取方法研究[D];东南大学;2016年

8 吴云鹏;集体行为的识别与仿真研究[D];郑州大学;2017年

9 刘艳秋;舍饲环境下母羊产前典型行为识别方法研究[D];内蒙古农业大学;2017年

10 齐镗泉;基于深度学习的行为识别与旅游场景分类关键技术研究[D];华南理工大学;2017年

相关硕士学位论文 前10条

1 樊晨霄;基于Kinect行为识别技术的体感辅助形体交互模式研究与实现[D];哈尔滨工业大学;2017年

2 唐凤;基于Kinect骨骼的视频人体行为识别[D];广西民族大学;2017年

3 唐小琴;基于全局和局部运动模式的人体行为识别研究[D];西南大学;2015年

4 胡秋扬;可穿戴式个人室内位置和行为监测系统[D];浙江大学;2015年

5 陈钰昕;基于时空特性的人体行为识别研究[D];燕山大学;2015年

6 任亮;智能车环境下车辆典型行为识别方法研究[D];长安大学;2015年

7 金泽豪;并行化的人体行为识别方法研究与实现[D];华南理工大学;2015年

8 王呈;穿戴式多传感器人体日常活动监测系统设计与实现[D];南京理工大学;2015年

9 王露;基于稀疏时空特征的人体行为识别研究[D];苏州大学;2015年

10 于静;基于物品信息和人体深度信息的行为识别研究[D];山东大学;2015年



本文编号:2399978

资料下载
论文发表

本文链接:https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/2399978.html


Copyright(c)文论论文网All Rights Reserved | 网站地图 |

版权申明:资料由用户c55de***提供,本站仅收录摘要或目录,作者需要删除请E-mail邮箱bigeng88@qq.com