基于变分自动编码器的特征表示学习研究及其应用

发布时间：2022-01-11 10:09

　　近年来,计算机视觉、语音识别和机器翻译领域深度学习技术取得了极大的成功,其中表示学习领域研究的不断进步起到了很大的作用。表示学习在文本表示、语音等领域贡献极大。学习数据的表示,这使得在构建分类器或其他预测器时更容易提取有用的信息。良好的数据表示对于深度学习算法性能的提升有巨大的意义。而最近几年,有监督的深度学习研究一直占据着主流,研究者们主要围绕着有监督深度学习领域开展研究。有监督信息对于深度学习模型效果的提升是非常显著的,半监督和无监督学习方不如有监督学习方法发展那么快,但是随着时代的发展和数据规模的急速增长,想要获取海量数据的标签信息变得越来越困难,使用少量带标签数据进行训练的半监督学习方法以及无监督学习方法变得越来越重要。在近年,在无监督表示学习领域深度生成模型的研究取得了广泛的成功,例如变分自动编码器,变分自动编码器已成为无监督学习复杂分布的最流行方法之一。变分自动编码器建立在神经网络之上,并且可以使用随机梯度下降方法进行训练。本文在变分自动编码器的框架下提出了一种半监督分类方法。在隐空间引入多个高斯先验,将不同类别的数据隐编码匹配到不同的高斯分布上,并且在隐空间利用学生T分布... 

【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校

【文章页数】：56 页

【学位级别】：硕士

【部分图文】：

简单的自动编码器人们总是可以尝试获得更多的标签数据，但这是非常昂贵的，要付出很高的代价

如图2-1 所示。自动编码器和多层感知机之间的主要区别在于前者的输出层具有与其输入层相同的神经元个数，而后者的输出层神经元个数是感知器应该能够分类的类的数量。此外，自动编码器属于无监督学习算法，因为它学习能够学习到没有标签数据的低维表示而多层感知机需要标记数据进行训练得到分类结果。图 2-1 自动编码器自动编码器中最重要的部分是它的隐藏层。隐藏层学习如何将数据进行编码，而输出层学习如何将编码进行解码还原原始数据。由于自动编码器的常见应用是降维，也就是在训练结束之后输出层通常被丢弃，自动编码器常被用于

图 2-2 稀疏自动编码器我们可以在损失函数中加入稀疏性约束。由于我们希望隐藏层中的元都是不活动的，因此我们可以计算隐藏层的平均的激活值并强制。如果阈值很低，那么神经元将调整它们的参数来遵守这个约束。 2-3 所示计算出每个隐藏层神经元的平均激活值。(2)11( )Nj iixN并且我们设置一个稀疏度参数 并初始化让其接近于 0，如果越接稀疏度就越高。见公式 2-4，我们利用 KL 散度计算 和 之间的计算 K 次保证稀疏约束的能力。1( || )KKLjD 我们把约束放进目标函数中并对模型进行训练，那么在最小化目标优化过程中，隐藏层的神经元激活输出值就会变得越来越接近于设


本文编号：3582599