基于Kinect行为识别技术的体感辅助形体交互模式研究与实现
[Abstract]:With the rapid development of science and technology, in the field of product design, the design which aims to meet the basic functional needs is gradually changed to focus on the emotional needs of users. In recent years, the great development of virtual reality and body sense interaction technology has also created more rich and diverse ways for computer-aided product design, greatly improving the efficiency of product design and human-computer interaction friendliness. Based on the theories of human-computer interaction and computer graphics, and based on Kinect platform, this paper develops a kind of body interaction system (Somatosensory Aided Shape Interaction, (SASI),) based on behavior recognition and virtual reality technology. In order to increase the operability and usability of the product design system, it is significant to introduce the technology of body feeling into the product design system, which is helpful to enhance the interactive experience of the product design system. The framework of the SASI system is built, and the basic elements of the SASI system are obtained by analyzing the functional and non-functional requirements in product design and human-computer interaction. The design of the system scene, the establishment of the hierarchical logical relationship between the scenes, the analysis and design of each sub-scene and their interfaces, the study of the effect of each scene setting and implementation of the function; Based on the principle of graphic correlation, the spatial information of intersection is obtained by the integrated calculation of ray tracing and collision detection algorithm. Through the coordinate transformation of the related data, the coordinate of them in the corresponding coordinate system is obtained, and the function of interacting with the UI control of the SASI system is completed. A stable and efficient motion search and recognition algorithm with high similarity is proposed to overcome the shortcomings of the existing motion recognition algorithms. The depth data stream and bone data stream of Kinect are used to obtain the information of related joints, and the ratio of structural feature vector modules and the structural feature angle are defined by this information, and the stable feature quantity of the relevant data is obtained to describe the target action. The correlation between variables is analyzed and the correlation vector data is input to the improved BP neural network for learning. Then the complete model of the behavior recognition algorithm is established and the validity of the extracted feature vectors is verified. The extraction method of feature vector and the learning of neural network are the key of the algorithm. The functions of man-machine interaction module of SASI system are studied and realized. The interaction principle of Kinect hardware and SASI system and the realization method of related interface function are analyzed. This paper studies the working principle and using method of important data flow, including color data stream and deep data stream provided by Kinect API, and obtains joint position information and rotation information through Kinect data stream. Thus the recognition of human target behavior and gesture interaction to SASI system are completed. Finally, the man-machine interaction function of each module of SASI system is realized based on the above research and verified by an example.
【学位授予单位】:哈尔滨工业大学
【学位级别】:硕士
【学位授予年份】:2017
【分类号】:TP311.52
【相似文献】
相关期刊论文 前10条
1 刘相滨,向坚持,王胜春;人行为识别与理解研究探讨[J];计算机与现代化;2004年12期
2 李宁;须德;傅晓英;袁玲;;结合人体运动特征的行为识别[J];北京交通大学学报;2009年02期
3 张伟东;陈峰;徐文立;杜友田;;基于阶层多观测模型的多人行为识别[J];清华大学学报(自然科学版);2009年07期
4 吴联世;夏利民;罗大庸;;人的交互行为识别与理解研究综述[J];计算机应用与软件;2011年11期
5 申晓霞;张桦;高赞;薛彦兵;徐光平;;一种鲁棒的基于深度数据的行为识别算法[J];光电子.激光;2013年08期
6 郑胤;陈权崎;章毓晋;;深度学习及其在目标和行为识别中的新进展[J];中国图象图形学报;2014年02期
7 曾青松;余明辉;贺卫国;李玲;;一种行为识别的新方法[J];昆明理工大学学报(理工版);2009年06期
8 谷军霞;丁晓青;王生进;;基于人体行为3D模型的2D行为识别[J];自动化学报;2010年01期
9 李英杰;尹怡欣;邓飞;;一种有效的行为识别视频特征[J];计算机应用;2011年02期
10 王新旭;;基于视觉的人体行为识别研究[J];中国新通信;2012年21期
相关会议论文 前8条
1 苗强;周兴社;於志文;倪红波;;一种非觉察式的睡眠行为识别技术研究[A];第18届全国多媒体学术会议(NCMT2009)、第5届全国人机交互学术会议(CHCI2009)、第5届全国普适计算学术会议(PCC2009)论文集[C];2009年
2 齐娟;陈益强;刘军发;;基于多模信息感知与融合的行为识别[A];第18届全国多媒体学术会议(NCMT2009)、第5届全国人机交互学术会议(CHCI2009)、第5届全国普适计算学术会议(PCC2009)论文集[C];2009年
3 方帅;曹洋;王浩;;视频监控中的行为识别[A];2007中国控制与决策学术年会论文集[C];2007年
4 黄紫藤;吴玲达;;监控视频中简单人物行为识别研究[A];第18届全国多媒体学术会议(NCMT2009)、第5届全国人机交互学术会议(CHCI2009)、第5届全国普适计算学术会议(PCC2009)论文集[C];2009年
5 安国成;罗志强;李洪研;;改进运动历史图的异常行为识别算法[A];第八届中国智能交通年会优秀论文集——智能交通与安全[C];2013年
6 王忠民;曹栋;;坐标转换在移动用户行为识别中的应用研究[A];2013年全国通信软件学术会议论文集[C];2013年
7 郭迪;孙富春;刘华平;黄文炳;;基于Kinect的冗余机械臂直线推移操作控制[A];2013年中国智能自动化学术会议论文集(第三分册)[C];2013年
8 刘威;李石坚;潘纲;;uRecorder:基于位置的社会行为自动日志[A];第18届全国多媒体学术会议(NCMT2009)、第5届全国人机交互学术会议(CHCI2009)、第5届全国普适计算学术会议(PCC2009)论文集[C];2009年
相关重要报纸文章 前3条
1 李晨光;导入CIS要注意什么?[N];河北经济日报;2001年
2 农发行鹿邑支行党支部书记 行长 刘永贞;发行形象与文化落地农[N];周口日报;2007年
3 东林;行为识别新技术让监控没有“死角”[N];人民公安报;2007年
相关博士学位论文 前10条
1 邵延华;基于计算机视觉的人体行为识别研究[D];重庆大学;2015年
2 仝钰;基于条件随机场的智能家居行为识别研究[D];大连海事大学;2015年
3 冯银付;多模态人体行为识别技术研究[D];浙江大学;2015年
4 姜新波;基于三维骨架序列的人体行为识别研究[D];山东大学;2015年
5 裴利沈;视频中人体行为识别若干问题研究[D];电子科技大学;2016年
6 周同驰;行为识别中基于局部时空关系的特征模型研究[D];东南大学;2016年
7 徐海燕;复杂环境下行为识别特征提取方法研究[D];东南大学;2016年
8 吴云鹏;集体行为的识别与仿真研究[D];郑州大学;2017年
9 刘艳秋;舍饲环境下母羊产前典型行为识别方法研究[D];内蒙古农业大学;2017年
10 齐镗泉;基于深度学习的行为识别与旅游场景分类关键技术研究[D];华南理工大学;2017年
相关硕士学位论文 前10条
1 樊晨霄;基于Kinect行为识别技术的体感辅助形体交互模式研究与实现[D];哈尔滨工业大学;2017年
2 唐凤;基于Kinect骨骼的视频人体行为识别[D];广西民族大学;2017年
3 唐小琴;基于全局和局部运动模式的人体行为识别研究[D];西南大学;2015年
4 胡秋扬;可穿戴式个人室内位置和行为监测系统[D];浙江大学;2015年
5 陈钰昕;基于时空特性的人体行为识别研究[D];燕山大学;2015年
6 任亮;智能车环境下车辆典型行为识别方法研究[D];长安大学;2015年
7 金泽豪;并行化的人体行为识别方法研究与实现[D];华南理工大学;2015年
8 王呈;穿戴式多传感器人体日常活动监测系统设计与实现[D];南京理工大学;2015年
9 王露;基于稀疏时空特征的人体行为识别研究[D];苏州大学;2015年
10 于静;基于物品信息和人体深度信息的行为识别研究[D];山东大学;2015年
,本文编号:2399978
本文链接:https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/2399978.html