基于Kinect的虚拟现实交互系统设计与实现
发布时间：2021-04-11 16:52
随着电子技术产业和多媒体信息技术的蓬勃发展,人们已经不再满足于简单的视觉体验,而逐渐兴起的基于体感的虚拟现实交互技术,很好地弥补了技术与需求上的空白,被广泛地应用到教育辅助、电影制作、医学康复治疗和直播互动等领域。针对目前虚拟现实交互系统存在动作捕捉装置复杂、价格昂贵、功能单一、环境要求严苛等问题,本文设计并实现了基于Kinect的虚拟现实交互系统。用户能够实时地与3D模型进行交互,将表情和身体运动数据实时映射到3D虚拟角色上,具有广泛的市场前景和实用价值。本文的虚拟现实交互系统主要从交互方式、检测方式和检测性能进行了改进和提升。在交互方式上,本文采用Kinect摄像头作为图像采集设备,通过主动表观模型和骨骼追踪算法捕捉脸部和身体特征点,进行3D模型的实时交互驱动。在检测方式上,本文利用RGB和深度图像信息进行人体特征点的联合检测。在检测性能方面,本文提出手部关节的位置推断方法以解决手部关节检测丢失和特征点定位不准确的问题,然后对人体运动数据进行中值滤波,有效提升了数据采集的准确度。本文根据系统需求将虚拟现实交互系统划分为界面终端,数据采集终端,表情检测终端,动作捕捉终端和后台终端。选...
【文章来源】：重庆邮电大学重庆市
【文章页数】：85 页
【学位级别】：硕士
【部分图文】：
虚拟现实系统效果图
重庆邮电大学硕士学位论文第2章系统的总体分析和设计142.5系统开发平台的分析与选择2.5.1数据采集设备分析与选择图像采集的质量对于系统功能的准确度相当重要。高清的图像质量能够为系统提供可靠稳定的数据[18]，本小节将对Kinect摄像头进行介绍与分析。微软公司在2010年推出了第一代Kinect3D体感摄像头，于2014年推出KinectV2摄像头，KinectV2硬件结构如图2.5所示。下文以“Kinect”特指KinectV2。红外投影机深度摄像头麦克风阵列彩色摄像头状态指示灯图2.5KinectV2传感器KinectV2同时拥有的彩色摄像头、深度摄像头和红外投影机，极大地提升该摄像头的数据采集能力。彩色摄像头能够捕捉高清的RGB彩色图像，红外投影机发射红外光线后可以通过深度摄像头采集深度图像和红外图像。Kinect相较于其他数据采集设备的优势在于，使用Kinect采集的深度图像能够快速地检测人体并且提取出人体骨骼关节坐标数据。第二代Kinect（KinectV2）和第一代Kinect（KinectV1）相比，提取的深度信息数据更准确，操作环境要求更低，骨骼关节定位精度更高。KinectV1和KinectV2捕捉深度图像的原理如图2.6所示。图2.6KinectV1与KinectV2深度图像获取机制对比图
重庆邮电大学硕士学位论文第3章人脸特征点定位与运动捕捉技术的分析与研究223.2.3模型匹配通过调整可变参数p使得输入图像I(x)与平均纹理0A(x)的差值最小，即对公式(3.5)进行能量最优的非线性迭代求解，求得使匹配误差最小的外观系数C，完成模型匹配。)])));;((()()([(0210SxmiiiAargminxAxqNupxWI(3.5)其中,miiiAxAxq10)()(表示估计的纹理，NupxWI)));;(((表示将输入图像映射到平均形状中得到的纹理，是平移和旋转缩放参数。3.2.4实验结果分析将IMM人脸数据库作为训练样本，测试AAM算法的性能。本文对240张图像进行训练，使用200张图片进行测试。实验结果如图3.2所示。图3.2原始图像与标定特征点后图像为了验证算法的性能，本文将AAM算法与ASM算法的消耗时间进行对比。每次测试选择相同的图像进行对比，进行100次测试，获得测试所得的平均时间如表3.2所示。综合实验结果表明，AAM算法可以简单快速地捕捉人脸特征点，且满足系统实时性需求。
【参考文献】：
期刊论文
[1]无标记点面部表情捕捉及动画在Unity3D上的实现[J]. 郑立国,于宏伟. 中国高新科技. 2019(02)
[2]动作捕捉技术在微电影中的应用与实现[J]. 叶燕,李梦,陈文娟. 电脑知识与技术. 2018(32)
[3]浅谈VR的应用及前景[J]. 周超. 数码世界. 2017(07)
[4]基于AAM和光流法的动态序列表情识别[J]. 邵虹,王洋,王昳昀. 计算机工程与设计. 2017(06)
[5]基于Leap Motion的手掌感知应用[J]. 吴丽群,廖一鹏. 工业控制计算机. 2017(02)
[6]基于Kinect与网格几何变形的人脸表情动画[J]. 张满囤,霍江雷,单新媛,王小芳,吴鸿韬. 计算机工程与应用. 2017(14)
[7]基于Kinect的人体单关节点修复算法研究[J]. 李昕迪,王云龙,何艳,朱国强. 自动化技术与应用. 2016(04)
[8]一种基于Kinect的角色骨骼动画方法[J]. 李红波,冉光勇,吴渝,丁林建. 重庆邮电大学学报(自然科学版). 2014(04)
[9]基于AAM和ASM的面部特征点提取研究[J]. 王智. 电子设计工程. 2013(10)
[10]四元数和旋转矩阵相互转化的算法实现[J]. 郑军. 阴山学刊(自然科学). 2012(03)
博士论文
[1]基于统计学习的人脸特征点定位算法研究[D]. 崔滢.南京理工大学 2015
硕士论文
[1]基于Kinect的人体行为识别研究[D]. 裴启程.南京邮电大学 2018
[2]划船健身器的虚拟现实交互系统设计[D]. 彭智婷.中南林业科技大学 2018
[3]基于反向运动学的运动重定向研究[D]. 徐少帅.大连理工大学 2018
[4]基于Kinect的驾驶员状态检测系统设计与实现[D]. 王君龙.重庆邮电大学 2018
[5]虚拟现实场景交互系统的设计与实现[D]. 葛磊.北京邮电大学 2018
[6]基于Kinect的AAM特征点定位方法研究[D]. 刘启明.哈尔滨理工大学 2017
[7]某增强现实交互系统的分析与设计[D]. 劳家毅.北京邮电大学 2017
[8]基于表情识别的虚拟环境交互技术研究[D]. 杨洋.重庆邮电大学 2017
[9]基于角色动画的运动重定向技术研究[D]. 杨晓蒙.湖南大学 2017
[10]基于Kinect的动作捕捉系统设计与实现[D]. 张作运.重庆邮电大学 2017
本文编号：3131617
【文章来源】：重庆邮电大学重庆市
【文章页数】：85 页
【学位级别】：硕士
【部分图文】：
虚拟现实系统效果图
重庆邮电大学硕士学位论文第2章系统的总体分析和设计142.5系统开发平台的分析与选择2.5.1数据采集设备分析与选择图像采集的质量对于系统功能的准确度相当重要。高清的图像质量能够为系统提供可靠稳定的数据[18]，本小节将对Kinect摄像头进行介绍与分析。微软公司在2010年推出了第一代Kinect3D体感摄像头，于2014年推出KinectV2摄像头，KinectV2硬件结构如图2.5所示。下文以“Kinect”特指KinectV2。红外投影机深度摄像头麦克风阵列彩色摄像头状态指示灯图2.5KinectV2传感器KinectV2同时拥有的彩色摄像头、深度摄像头和红外投影机，极大地提升该摄像头的数据采集能力。彩色摄像头能够捕捉高清的RGB彩色图像，红外投影机发射红外光线后可以通过深度摄像头采集深度图像和红外图像。Kinect相较于其他数据采集设备的优势在于，使用Kinect采集的深度图像能够快速地检测人体并且提取出人体骨骼关节坐标数据。第二代Kinect（KinectV2）和第一代Kinect（KinectV1）相比，提取的深度信息数据更准确，操作环境要求更低，骨骼关节定位精度更高。KinectV1和KinectV2捕捉深度图像的原理如图2.6所示。图2.6KinectV1与KinectV2深度图像获取机制对比图
重庆邮电大学硕士学位论文第3章人脸特征点定位与运动捕捉技术的分析与研究223.2.3模型匹配通过调整可变参数p使得输入图像I(x)与平均纹理0A(x)的差值最小，即对公式(3.5)进行能量最优的非线性迭代求解，求得使匹配误差最小的外观系数C，完成模型匹配。)])));;((()()([(0210SxmiiiAargminxAxqNupxWI(3.5)其中,miiiAxAxq10)()(表示估计的纹理，NupxWI)));;(((表示将输入图像映射到平均形状中得到的纹理，是平移和旋转缩放参数。3.2.4实验结果分析将IMM人脸数据库作为训练样本，测试AAM算法的性能。本文对240张图像进行训练，使用200张图片进行测试。实验结果如图3.2所示。图3.2原始图像与标定特征点后图像为了验证算法的性能，本文将AAM算法与ASM算法的消耗时间进行对比。每次测试选择相同的图像进行对比，进行100次测试，获得测试所得的平均时间如表3.2所示。综合实验结果表明，AAM算法可以简单快速地捕捉人脸特征点，且满足系统实时性需求。
【参考文献】：
期刊论文
[1]无标记点面部表情捕捉及动画在Unity3D上的实现[J]. 郑立国,于宏伟. 中国高新科技. 2019(02)
[2]动作捕捉技术在微电影中的应用与实现[J]. 叶燕,李梦,陈文娟. 电脑知识与技术. 2018(32)
[3]浅谈VR的应用及前景[J]. 周超. 数码世界. 2017(07)
[4]基于AAM和光流法的动态序列表情识别[J]. 邵虹,王洋,王昳昀. 计算机工程与设计. 2017(06)
[5]基于Leap Motion的手掌感知应用[J]. 吴丽群,廖一鹏. 工业控制计算机. 2017(02)
[6]基于Kinect与网格几何变形的人脸表情动画[J]. 张满囤,霍江雷,单新媛,王小芳,吴鸿韬. 计算机工程与应用. 2017(14)
[7]基于Kinect的人体单关节点修复算法研究[J]. 李昕迪,王云龙,何艳,朱国强. 自动化技术与应用. 2016(04)
[8]一种基于Kinect的角色骨骼动画方法[J]. 李红波,冉光勇,吴渝,丁林建. 重庆邮电大学学报(自然科学版). 2014(04)
[9]基于AAM和ASM的面部特征点提取研究[J]. 王智. 电子设计工程. 2013(10)
[10]四元数和旋转矩阵相互转化的算法实现[J]. 郑军. 阴山学刊(自然科学). 2012(03)
博士论文
[1]基于统计学习的人脸特征点定位算法研究[D]. 崔滢.南京理工大学 2015
硕士论文
[1]基于Kinect的人体行为识别研究[D]. 裴启程.南京邮电大学 2018
[2]划船健身器的虚拟现实交互系统设计[D]. 彭智婷.中南林业科技大学 2018
[3]基于反向运动学的运动重定向研究[D]. 徐少帅.大连理工大学 2018
[4]基于Kinect的驾驶员状态检测系统设计与实现[D]. 王君龙.重庆邮电大学 2018
[5]虚拟现实场景交互系统的设计与实现[D]. 葛磊.北京邮电大学 2018
[6]基于Kinect的AAM特征点定位方法研究[D]. 刘启明.哈尔滨理工大学 2017
[7]某增强现实交互系统的分析与设计[D]. 劳家毅.北京邮电大学 2017
[8]基于表情识别的虚拟环境交互技术研究[D]. 杨洋.重庆邮电大学 2017
[9]基于角色动画的运动重定向技术研究[D]. 杨晓蒙.湖南大学 2017
[10]基于Kinect的动作捕捉系统设计与实现[D]. 张作运.重庆邮电大学 2017
本文编号：3131617
本文链接：https://www.wllwen.com/kejilunwen/shengwushengchang/3131617.html
最近更新
教材专著
