基于纹理修复的虚拟试衣网络

发布时间：2022-01-11 17:09

　　随着互联网经济的飞速发展,线上购物已经成为了一种生活方式,服装网购的市场规模也在逐年增长。顾客在购买服装时,非常关心衣服穿到自己身上的实际效果如何,但是在线上购买时只能根据商家提供的图片进行挑选,无法像在实体店一样可以试穿。虚拟试衣技术利用三维建模仿真算法或二维图像生成算法来模拟指定服装穿在用户身上的着装效果,为其提供更加真实的购物体验。因此该技术有巨大的应用前景,其能够辅助顾客做出购买决策,有助于促进服装的线上销售。本文提出了基于纹理修复的虚拟试衣网络,通过输入用户图像和模特图像,该网络能够生成该用户身穿模特身上服装的试衣结果。与前人方法的区别在于,本文所提出的方法在无需训练额外网络的前提下实现了“随心换”,即用户可以选择模特身上指定的服装（上装、下装、全身服装）进行换衣。本文认为试衣结果主要由服装纹理和用户纹理构成,首先,依据用户图像和模特图像的密集姿态,通过纹理重映射得到服装纹理,且该纹理与用户的体形、姿态相匹配;再利用人物解析迁移,通过输入用户身体分割图和模特人物解析得到迁移结果,其恰好为试衣结果所对应的人物解析;然后对迁移结果和用户人物解析做交集操作实现用户纹理的最优提取;最... 

【文章来源】：东华大学上海市 211工程院校 教育部直属院校

【文章页数】：63 页

【学位级别】：硕士

【部分图文】：

天真算法获取的用户纹理会导致试衣结果发生错误

发遮挡服装的情形时。 人物解析迁移的网络结构如图 3-2 所示，是一个双通道的编码解码网络，输入为用户身体分割图 与模特人物解析 ，输出为迁移结果 ′，输入和输出的尺寸均为 256×256。首先对网络各通道的输入分别使用一个步长为 2 的卷积层得到的尺寸一致的特征图，再合并这两个特征图，输入到一个自编码解码网络生成迁移结果。为了使得生成的结果能够尽可能维持用户的身份信息，本文对经过第一个卷积层后的特征图做了下采样（利用最近邻插值对特征图的长、宽分别缩小 1/2），而后合并到解码器的中间结果中。网络中的卷积核的尺寸均为3×3，解码器中均使用转置卷积层[49]。

东华大学硕士学位论文第三章用户纹理提取18键和值g。对键做转置操作，再将查询与键做矩阵乘法得到一个HW×HW的特征图，该特征图的任意一行即代表了输入特征中某一特征单元与所有特征单元的相关性。然后利用Softmax函数对该特征图的每一行做归一化，得到的结果作为权重，与值g做加权求和得到该输入特征的注意力，最后与输入特征X相加得到最终输出Z。图3-3自注意力模块其中Softmax函数作用是对每一行做归一化，使得每一行之和为1，对于一个数组，位置i对应Softmax的值通过计算当前第i个元素的指数与所有元素指数和的比值得到，即=∑（3-1）通过Softmax分配到权重越大的特征单元对应的相关性越高，再利用加权求和操作使得这些相关性更高的特征单元对计算结果有更大的影响，即模型会更重视这些特征单元。因此为了使得模型通过学习特征间的相关性来捕捉人体结构信息，本文在网络的解码器阶段加入自注意力模块。由于在训练人物解析迁移时，使用了生成对抗网络（GAN）的训练框架，其一般由一个生成器和一个鉴别器组成。生成器就是上文所述的人物解析迁移的网络，负责生成所需的迁移结果。而对于鉴别器，本文采用了SAGAN[23]中的鉴别器，其输入的尺寸与迁移结果的尺寸（18×256×256）一致，为卷积网络结构，包含了6层卷积核大小为、步长为2的卷积层，与一般卷积网络的区别在于，将激活函数从ReLU（线性修正单元）替换为LeakyReLU（带泄露的线性修正单元）[50]，将批归一化[51]替换为谱归一化[24]。其中，谱归一化通过限制模型各卷积层权重的谱范数大小，使得训练更加稳定。鉴别器的网络结构是按卷积层、谱归一化、激活函数的顺序重复堆叠6次，另外，SAGAN为了使模型充分学习到特征单元

【参考文献】：
期刊论文
[1]虚拟试衣对消费者需求心理及生活方式的影响[J]. 王娇,钟苡君.  天津纺织科技. 2017(01)
[2]数字化艺术在服装产业中的体现——虚拟试衣的应用浅析[J]. 何钰菡.  中国民族博览. 2015(08)



本文编号：3583148