面向多种学习任务的深度生成模型

发布时间：2021-06-14 19:39

　　深度神经网络在众多机器学习领域取得了令人瞩目的进展,并被应用到各种实际场景中。但是,一般的深度神经网络建模一个从输入数据到语义标注的条件概率模型,这种机制导致了两个瓶颈问题:一方面,深度神经网络忽略了数据中的不确定性,无法处理数据中可能存在的噪音和缺失信息;另一方面,深度神经网络的训练需要大量的数据标注,而人工标注在很多实际应用中非常稀少且昂贵。深度生成模型结合了深度神经网络的灵活性和概率建模框架的推理能力,可以在完全无标注的情况下建模复杂数据的联合概率分布。因此,深度生成模型是一种解决深度学习两个瓶颈问题的原则性方法,并将成为未来大数据分析的基础工具。虽然深度生成模型前景广阔,但是现有模型的表达能力、可解释性和判别性均有不足之处,亟待解决。具体而言,第一,现有深度生成模型中的网络结构和隐变量结构都非常简单,这限制了模型的表达能力;第二,现有深度生成模型以完全黑盒的方式拟合一个从噪音到高维数据的映射,其隐变量可解释性不足,生成图像的语义也难以控制;第三,无监督学习所提特征的判别能力远逊于前馈神经网络,而在深度生成模型中恰当地引入监督信号又是一个非平凡问题。本文面向不同的机器学习任务,设... 

【文章来源】：清华大学北京市 211工程院校 985工程院校 教育部直属院校

【文章页数】：115 页

【学位级别】：博士

【部分图文】：

手写字体生成模型[13]：图中文字是”Whyaredeepgenerativemodelsuseful?”(译：为什么深度生成模型有用？)

第1章绪论图1.2手写字体生成模型[13]：图中文字是”Whyaredeepgenerativemodelsuseful?”(译：为什么深度生成模型有用？)。图1.3图像转换生成模型[14]:第一行展示了从草图到真实图像的转换；第二行展示了从白天到晚上的场景转换。假设给定一些图片和视频，用户希望对其进行语义或者风格的快速修改，如何利用生成模型自动合成想要的数据？相关模型效果可以见图1.3。在各种公共场所或者服务系统中，需要智能客服对用户的需求进行自动解答，如何根据需要自动合成相应的文字，图示和语音等等？因此，利用深度生成模型进行数据合成可以满足多种学习任务下的实际需求。1.1.2.2无监督降维，去噪和缺失数据补全在计算机视觉场景中，往往有如下无监督特征提取和降维的需求：假设服务器存储了大量的数据图片，其大小远远超过了可提供的计算空间，为了提高服务器的检索速度，需要对数据图片进行无监督降维处理，然后基于低维数据进行检索。图1.4展示了基于深度生成模型的无监督降维到二维的可视化结果。假设一个机器学习模型的训练数据是干净无噪音的，在产品上线之后，由于传感器失效，网络传输丢包等原因，测试数据可能有噪音和缺失信息，如何4

第1章绪论图1.4基于深度生成模型的降维可视化结果[15]：左侧为人脸数据集上的结果，右侧为手写数字数据集上的结果。在每一个数据集的结果（对应大图）中，每个样本点（对应小图）在大图中的坐标（原点为大图正中心）对应其降维后的二维表示。(a)训练字体(b)小样本泛化图1.5汉字标准字体的小样本生成模型[16]：左侧为训练字体；右侧虚线框内给出新字体的三个样例，后面奇数行是生成结果，偶数行是标准字体。在这种情况下去掉噪音或者补全缺失信息？深度生成模型提供了无监督学习最自然的解决方案，可以很好地处理上述问题。1.1.2.3半监督精确分类和小样本学习在计算机视觉和自然语言处理场景中，往往会有如下半监督和小样本学习的需求：假设用户公司需要将卫星对地面的观测数据进行分类，预测异常情况如地震的发生，由于卫星时时刻刻都在运转，观测数据本身是大量的，但是由于需要专家标注，其标注信息非常稀有，在这种半监督的情况下如何准确地分类？假设某设计公司希望推出一种新的字体，但是对汉字的所有字体逐一进行设5


本文编号：3230204