对抗生成网络表情生成研究
发布时间：2021-04-15 11:47
脸部表情生成技术持续的研究,在图形、视频、动画方面取得了长久的进步。人的脸部特征提供了大量丰富的信息,是身份识别与情感表达的重要关注部分。在实际生活中脸部表情生成技术有广泛的应用,如娱乐影视制作、计算机动画合成,以及医疗美容模拟等,得益于图像变形技术的发展,以及深度神经网络模型的发展,只需要建立生成式模型就可以减少人工建模的繁杂操作,所以脸部表情生成技术有着广阔的发展前景。本文的主要工作围绕表情生成技术研究中存在难点展开,本论文的研究对表情生成的三个方面进行了改进。一是连续性的表情生成控制方法;二是支持类别间转化（不同表情）和不同类型转化（不同风格）的方法;三是图像效果评价的量化方法与生成质量的优化策略。对于传统脸部动画表情生成技术金钱人力成本高,后期修改维护困难的问题。在框架中采用类似于对抗生成网络中的CycleGAN的结构,并在其结构的不同部分加入表情参数的控制。在模型参数上设计的结构较为简单,运行速度快。生成对抗网络开创性地结合生成式网络和生成式网络进行数据生成,但生成对抗网络的生成方式限制较少,导致大量图像像素的情况下网络易失控。对于这一问题,本文设计了一种弱监督的控制的机制,...
【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校
【文章页数】：68 页
【学位级别】：硕士
【部分图文】：
本论文研究表情生成问题的框图表达
喑ぁＤ怯媒鹩?先生的武侠技法，就是左右互搏。从概率统计的角度解释就是在这个对抗生成的训练过程中，使得生成器的输出分布与真实原始域的分布一致。从常见的判别模型和生成模型，理解对抗生成网络。判别模型较多见，比如二分类器会有一个判别分界线，通过这个判别分界线去区分样本的属性。从概率角度分析就是获得样本属于类别的概率，即是一个条件概率(|)。而生成模型代表的是在搜索空间内去学习一个数据的分布，就像正太分布一样，通过训练拟合整个分布，就是样本数据集在整个分布中的产生的概率，即是联合概率()。图2-1基础对抗生成网络结构图[8]基于判别模型和生成模型，对抗网络只是提出了一种对抗训练的网络结构。用两个模型，一个生成模型和一个判别模型形成对抗。判别模型用于判断一个输入的图像是不是真实的图像(来自真实数据集的采样图像)，生成模型的任务是去模拟出一个似真的图像。而在刚开始两模型都是没有经过训练的，这两个模型一起交替对抗训练，生成模型生成一张图像去测试判别模型，然后判别模型去判断这张图像是真是假，最终在这两个模型训练的过程中，两个模型的判别抑或生成的能力越来越显著，最终达到稳态。GAN在计算机视觉方面的应用丰富，当然不单单是图像，其他方向，譬如文本、语音，或者任何只要含有规律的数据合成，都能可以用GAN实现。见DavidFoster的这本[36]教程，教机器来学画画、写作、谱曲、游戏。
sedModel)的认知方法，对于GAN的认知还有另外一个角度，即从能量角度来展开。那就是把GAN视作一种EBM(EnergyBasedModel)模型，如EBGAN[37]。本文中将按照概率模型的这个认识的视角来对各个模型展开说明，其他视角这里就不展开了。2.2基于对抗生成网络的表情生成的发展进程2014年GAN提出以来，GAN出现了爆发式的增长，文献[30]中回顾了对抗生成网络的算法、理论应用，文中给出了一个对抗生成网络的时间表。本文对此时间表删去本文无关的算法，同时添加与本文相关且最新的方法，画出了表情生成相关的对抗生成网络的历史进程图2-2。本文将对抗生成网络，按主题分为三个方向，一个是图像的控制生成，包括CGAN[10]、Pix2Pix[10]、StarGAN[20]、GANimation[22]、UFDN[24]，一个是图像的高清生成，包括DCGAN[40]、CycleGAN[19]、PGGAN[16]、StyleGAN[17]、StyleGAN2[18]，最后一个是对抗生成网络的优化问题。其中还有控制以及高清生成的合并分支，包括StackGAN[14]、StackGAN++[15]。这些网络会在本文的第二、三章结合本文的课题进行说明。在图2-2中，我们也梳理了上面框架之间的继承关系，方便我们了解现在主流的进展。图2-2表情生成相关的对抗生成网络的历史进程对抗生成网络的常用优化。对于判别器来说，问题是在原始的GAN损失和结构下，其得到的真实数据和生成数据之间的分布差异，等效于生成分布与真实分布的JS散度，而JS散度存在严重的梯度弥散问题，当达到这一状态的时候，判别器就不能对生成器给出明确的优化方向。JS散度只有两个分布重合时才能度量分布距离的大校针对上面的问题，WGAN[41]中提出Wassertein距离，有些文献也称EM距离去取代JS距离，能更好的衡量两个分布之间的距离，且处处连
【参考文献】：
期刊论文
[1]无参考图像质量评价综述[J]. 王志明. 自动化学报. 2015(06)
硕士论文
[1]人脸表情迁移与分析方法研究[D]. 蒲倩.西安电子科技大学 2014
本文编号：3139276
【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校
【文章页数】：68 页
【学位级别】：硕士
【部分图文】：
本论文研究表情生成问题的框图表达
喑ぁＤ怯媒鹩?先生的武侠技法，就是左右互搏。从概率统计的角度解释就是在这个对抗生成的训练过程中，使得生成器的输出分布与真实原始域的分布一致。从常见的判别模型和生成模型，理解对抗生成网络。判别模型较多见，比如二分类器会有一个判别分界线，通过这个判别分界线去区分样本的属性。从概率角度分析就是获得样本属于类别的概率，即是一个条件概率(|)。而生成模型代表的是在搜索空间内去学习一个数据的分布，就像正太分布一样，通过训练拟合整个分布，就是样本数据集在整个分布中的产生的概率，即是联合概率()。图2-1基础对抗生成网络结构图[8]基于判别模型和生成模型，对抗网络只是提出了一种对抗训练的网络结构。用两个模型，一个生成模型和一个判别模型形成对抗。判别模型用于判断一个输入的图像是不是真实的图像(来自真实数据集的采样图像)，生成模型的任务是去模拟出一个似真的图像。而在刚开始两模型都是没有经过训练的，这两个模型一起交替对抗训练，生成模型生成一张图像去测试判别模型，然后判别模型去判断这张图像是真是假，最终在这两个模型训练的过程中，两个模型的判别抑或生成的能力越来越显著，最终达到稳态。GAN在计算机视觉方面的应用丰富，当然不单单是图像，其他方向，譬如文本、语音，或者任何只要含有规律的数据合成，都能可以用GAN实现。见DavidFoster的这本[36]教程，教机器来学画画、写作、谱曲、游戏。
sedModel)的认知方法，对于GAN的认知还有另外一个角度，即从能量角度来展开。那就是把GAN视作一种EBM(EnergyBasedModel)模型，如EBGAN[37]。本文中将按照概率模型的这个认识的视角来对各个模型展开说明，其他视角这里就不展开了。2.2基于对抗生成网络的表情生成的发展进程2014年GAN提出以来，GAN出现了爆发式的增长，文献[30]中回顾了对抗生成网络的算法、理论应用，文中给出了一个对抗生成网络的时间表。本文对此时间表删去本文无关的算法，同时添加与本文相关且最新的方法，画出了表情生成相关的对抗生成网络的历史进程图2-2。本文将对抗生成网络，按主题分为三个方向，一个是图像的控制生成，包括CGAN[10]、Pix2Pix[10]、StarGAN[20]、GANimation[22]、UFDN[24]，一个是图像的高清生成，包括DCGAN[40]、CycleGAN[19]、PGGAN[16]、StyleGAN[17]、StyleGAN2[18]，最后一个是对抗生成网络的优化问题。其中还有控制以及高清生成的合并分支，包括StackGAN[14]、StackGAN++[15]。这些网络会在本文的第二、三章结合本文的课题进行说明。在图2-2中，我们也梳理了上面框架之间的继承关系，方便我们了解现在主流的进展。图2-2表情生成相关的对抗生成网络的历史进程对抗生成网络的常用优化。对于判别器来说，问题是在原始的GAN损失和结构下，其得到的真实数据和生成数据之间的分布差异，等效于生成分布与真实分布的JS散度，而JS散度存在严重的梯度弥散问题，当达到这一状态的时候，判别器就不能对生成器给出明确的优化方向。JS散度只有两个分布重合时才能度量分布距离的大校针对上面的问题，WGAN[41]中提出Wassertein距离，有些文献也称EM距离去取代JS距离，能更好的衡量两个分布之间的距离，且处处连
【参考文献】：
期刊论文
[1]无参考图像质量评价综述[J]. 王志明. 自动化学报. 2015(06)
硕士论文
[1]人脸表情迁移与分析方法研究[D]. 蒲倩.西安电子科技大学 2014
本文编号：3139276
本文链接：https://www.wllwen.com/wenyilunwen/dongmansheji/3139276.html
