数据驱动的虚拟试衣系统若干关键技术研究

发布时间：2020-06-09 19:45

【摘要】：虚拟试衣技术通过计算机仿真技术,将虚拟的服装穿戴到用户身上。用户可以观看到购买的服装穿着在自身上的视觉效果,产生与现场进行试衣相似的体验。在虚拟试衣系统获取用户数据的诸多途径中,深度数据由于能够提供丰富的重建和识别信息,受到了广泛的研究和关注。然而,目前将深度数据应用到虚拟试衣系统的过程中尚存在一些诸如人体重建效率低,重建出人体模型缺少纹理信息,对运动姿态的语义识别正确率不理想的问题。如何将深度数据在重建和识别方面的优势应用到虚拟试衣系统中的同时,减少用户的等待时间。已经成为当前虚拟试衣领域研究的热点。本文针对深度数据驱动的虚拟试衣系统关键技术展开研究,重点研究了基于稀疏关键点的参数化人体重建、基于混合参数的深度相机与彩色相机高效配准、最近邻和最长公共子序列结合的动态手势识别这三个方面的内容,取得了以下研究成果:[1]基于稀疏关键点的参数化人体重建。提出了一种基于单张深度图的自动参数化人体模型重建算法。用户仅需要站立在在深度捕传感器,等待传感器扫描全身深度数据。算法将在数秒内完成用户身材和姿态的重建。相比于传统方法需要优化深度数据和网格之间的稠密对应进行重建,本文提出了一种基于稀疏关键点的重建策略。该策略使用回归算法计算深度数据上,与标记有关键点的训练数据对应的的关键点位置,并设计了两种特征描述和对应的回归策略以提高关键点位置计算的鲁棒性和准确度。使用计算的稀疏关键点作为约束,本文方法进一步优化人体姿态和身材完成重建,并在优化过程中使用矩阵预分解以提高重建计算的效率。本文方法在达到与现有方法相近的重建准确度的前提下,大大降低了重建所消耗的时间。[2]基于混合参数的深度相机与彩色相机高效配准。提出了一种基于混合参数矩阵的标定方法线性化优化过程。该混合参数将深度相机内参和深度、彩色摄像机之间旋转变换进行组合,提供了从深度参数空间(深度摄像机图像)到颜色参数空间(彩色摄像机图像)的变换。通过对混合参数矩阵进行标准QR分解可以进一步得到旋转变换和深度相机内参。我们在合成的测试数据和使用微软Kinect捕获的真实的深度数据上分别测试我们的算法。实验表明,由于使用混合参数带来的优势,我们的方法使用更少的计算时间(Herrera方法的1/50和Raposo方法的1/10)达到了与目前最先进的标定算法相当的标定精度。[3]最近邻和最长公共子序列结合的动态手势识别。提出了一种基于最长公共子序列(LCSS)方法的动态手势识别系统。通过以下两个方面的改进,提高了 LCSS方法的识别的正确率。首先,为了给LCSS方法提供表示手势运动的离散特征,本文提出了一种方向特征的离散表达对姿态特征进行编码,能够更好地表示不同姿态间的差异。其次,考虑到不同的用户在表现同一个手势的时候会在速度、轨迹和位置等方面存在差异,本文将K近邻(KNN)算法与LCSS方法相结合以适应不同用户的手势习惯。实验结果表明,在F1度量下,实验结果表明本工作的将KNN与LCSS相结合的方法对动态手势识别正确率起到了一定的提升作用。
【图文】：

三维影像,试衣系统,深度数据,使用方式

备包括用来重建用户参数化人体模型的深度相机和用于重建用户脸部纹理的彩色相机。试逡逑衣影像显示使用一块大屏幕显示器显示用户穿着虚拟服装后的三维影像，以及调整服装来逡逑源、种类、颜色等属性的图形用户界面。系统启动后，，如图１．２所示，用户站在系统正前逡逑方接受深度相机的全身深度扫描以及彩色相机的正面脸部拍照。接着系统将在短时间内完逡逑成参数化人体重建和脸部纹理映射，并使用衣料仿真技术将虚拟服装穿戴到重建出的人体逡逑模型上进行显示。用户通过手势操作图形界面，改变服装的种类或调整服装的属性。这些逡逑操作对应地显示在试衣模特上，直到用户满意。为了达成以上目标，本文提出的虚拟试衣逡逑系统被由“人体获取”、“线下标定”、“服装选择”以及“穿衣模拟”四个模块组成。各个逡逑模块之间的数据依赖关系和功能如图１．３所示。本节接下来对这些模块进行详细介绍，进逡逑而引出本文的主要研究内容。逡逑３逡逑

流程图,试衣,试衣系统,深度数据

第１章绪论逡逑」彩色＾Ｈｆｃａｒ邋ｇ佽－属性、逡逑图１．２本文提出的深度数据驱动的虚拟试衣系统的硬件构成和使用方式。逡逑响应用户的操作，影响系统的使用体验。逡逑总体而言，将智能人体重建方法与虚拟试衣应用相结合是虚拟试衣技术的发展趋势。逡逑深度数据由于其具有三维信息的先天优势，非常适合作为重建的输入。但目前基于深度数逡逑据的重建方法还存在诸如重建效率较低以及重建结果缺少纹理等缺点，使其在虚拟试衣系逡逑统中应用时还存在－定的问题。针对这些问题，本文提出一种深度数据驱动的虚拟试衣系逡逑统，在现有工作的基础上，重点提升人体重建效率和用户沉浸感体验。如图２所示，本逡逑文提出的虚拟试衣系统由人体数据采集和试衣影像显示两个部分构成。人体数据采集的设逡逑备包括用来重建用户参数化人体模型的深度相机和用于重建用户脸部纹理的彩色相机。试逡逑衣影像显示使用一块大屏幕显示器显示用户穿着虚拟服装后的三维影像，以及调整服装来逡逑源、种类、颜色等属性的图形用户界面。系统启动后
【学位授予单位】：浙江大学
【学位级别】：博士
【学位授予年份】：2016
【分类号】：TP391.9

【参考文献】