自动编码器相关理论研究与应用

发布时间：2018-05-06 12:49

本文选题：自动编码器 + 堆叠自动编码器　；参考：《中国矿业大学》2017年硕士论文

【摘要】：数据表示的成功与否直接关系到数据的理解和存储,因此其对于机器学习任务和人工智能的实现都至关重要。而自动编码器就是为解决数据表示问题而提出的神经网络模型。由单隐层自动编码器堆叠而成的深度网络更是因为其强大的学习表示能力而被广泛研究。自动编码器可以自适应地学习到数据中的结构,并使用学习到的特征来高效的表示数据,这种特性不仅可以适应大数据环境中巨大的数据量和数据种类,而且可以克服经验特征较大的设计代价和泛化性能差的问题,同时在深度学习中使用自动编码器来实现多层次的特征提取可以取得更好的分类精度。但是,自动编码器也存在鲁棒性较差和深度学习应用中出现过拟合现象等问题。为了能够自适应地从数据中提取有用的特征,同时提高特征的鲁棒性并克服过拟合现象,本文在传统自动编码器的基础上通过增加损坏处理操作,并向目标函数中加入稀疏性约束,提出了降噪稀疏自动编码器。通过探索不同的稀疏性约束和损坏处理操作,并分别在手写数据集和自然图像上测试模型的识别精度、学习到的特征提取器和数据重构效果,得到的实验表明:本文提出的降噪稀疏自动编码器相比于传统自动编码器、稀疏自动编码器和降噪自动编码器模型,同时具有较好的泛化性能和鲁棒性。浅层的自动编码器的学习能力有限,而且无法提取层次化的特征,为了更高效的表示高维数据,以及探究如何使用自动编码器来构造深度网络表示数据,本文在单层的降噪稀疏自动编码器的基础上,提出了堆叠降噪稀疏自动编码器。首先通过上一层自动编码器的输出作为下一层自动编码器的输入的方式逐层训练多个降噪稀疏自动编码器。然后将逐层训练的自动编码器的隐层堆叠起来,构造具有多个隐层的堆叠降噪稀疏自动编码器。我们可以利用该多层的堆叠降噪稀疏自动编码器学习图像数据中不同抽象程度的特征,并使用学习到的最高抽象层的特征来执行分类任务。通过实验本文探索了不同深度的网络结构,以及具有相同深度但不同隐层节点数的网络结构,在不同复杂程度的数据集上的分类效果。实验表明无监督的初始化阶段对于训练深度网络的重要作用,以及堆叠降噪稀疏自动编码器相比于只有稀疏性约束和损坏处理操作的堆叠自动编码器具有更好的识别效果,更重要的是本文通过实验发现,稀疏性约束和损坏处理操作具有一定的等价性,而对于无法通过经验选择这些超参数的情况下,通过结合这两种约束通常可以得到更好的识别效果。本文针对降噪稀疏自动编码器和堆叠降噪稀疏自动编码器在具有不同复杂程度的数据集上的实验效果,以及现有模型的局限,进一步分析如何进行改进现有模型,并提出了两个改进自动编码器的方向:构造自动编码器和拓扑自动编码器。此外,本文还探索了关于自动编码器的一些基本问题,如:一个优秀的自动编码器模型应该具备什么样的特征、自动编码器研究中还有哪些问题没有得到明确解答以及自动编码器与脑科学、认知科学等学科的联系。最后对自动编码器的研究进行总结并展望。
[Abstract]:This paper proposes a kind of noise reduction sparse automatic encoder which is based on the traditional automatic encoder .

【学位授予单位】：中国矿业大学
【学位级别】：硕士
【学位授予年份】：2017
【分类号】：TN762

【参考文献】