基于深度自动编码器的特征提取算法研究

发布时间：2019-08-02 20:27

【摘要】：机器学习在人工智能领域中扮演着极为重要的角色,它使得机器能够对各种事物构建模型,通过这些模型,机器就能够对我们的世界形成“认识”。近年来,机器学习能力得到了突飞猛进的发展,一方面归功于计算机硬件技术迅速发展使得存储成本大幅降低、计算速度大幅提升;更重要的是关于机器学习算法的研究获得了突破性进展,尤其是近年深度学习算法的提出,使得机器对世界的认识能力有了质的飞跃。深度自动编码器是深度学习算法之一,它是一种深层神经网络,其最大的特点就是通过一种非监督的逐层预训练使得网络有一个较好的初始值,再通过有监督的微调训练调整整个网络的权值,最终能够有效地提取数据中关键信息,形成特征。本文在研究深度自动编码器算法的同时,也注重研究各类常用特征提取算法与分类器算法,通过实验比较各类算法差异,并探索改进深度自动编码器的方式。本论文主要研究内容如下:(1)研究了多种征特征提取算法,包括经典的特征提取算法:主成分分析、线性判别分析、核主成分分析,为区别深度学习算法,本文中将其概括为“浅层”学习算法。除了深度自动编码器外,本文还研究了基于受限玻尔兹曼机的深度学习算法,包括自动编码器的几种改进。通过图像识别实验对各个算法性能进行比较。(2)研究了多种分类器,包括Softmax、支持向量机以及K最近邻。将深度自动编码器与各种分类器结合,通过实验比较分类性能。(3)为了进一步提升深度自动编码器的特征学习能力,提出一种基于栈式去噪自动编码器的边际Fisher分析算法,该算法将边际Fisher分析运用于深度自动编码器有监督微调阶段,通过描述同类样本紧凑性的本征图与描述异类样本分离性的惩罚图来优化数据到特征空间的映射关系,通过实验验证了该方法可行性。
【图文】：

图 2.1 LDA 投影图与 PCA 不同，LDA 是一种有监督的学习方法，，因此要求带标签的训练数据定的数据样本集tt,其中 y 为数据标签，用于标记该样本的类别，据集类别为两类，则 h t 。令 、 、 分别表示 h t 类样本的集合

图 2.2 BM 与 RBM 模型M 是一种基于能量(Energy-based)的模型，假设一个 RBM 有 n 个可见单，用向量 v 和 h 分别表示可见单元和隐单元的状态，那么，对于一组给RBM 模型所具备的能量定义为：t t t 多 (2.29
【学位授予单位】：长沙理工大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP391.41;TP18

【参考文献】

相关期刊论文 前5条

1 张春霞;姬楠楠;王冠伟;;受限波尔兹曼机[J];工程数学学报;2015年02期

2 孙志军;薛磊;许阳明;;基于深度学习的边际Fisher分析特征提取算法[J];电子与信息学报;2013年04期

3 李森;刘希玉;;MFASSC:基于间隔Fisher分析的半监督聚类方法[J];计算机应用研究;2012年11期

4 孙志军;薛磊;许阳明;王正;;深度学习研究综述[J];计算机应用研究;2012年08期

5 孙霞;王自强;;基于自适应核边际费希尔分析的人脸识别算法[J];计算机工程;2012年11期

相关博士学位论文 前1条

1 戴金波;基于视觉信息的图像特征提取算法研究[D];吉林大学;2013年

相关硕士学位论文 前6条

1 施徐敢;基于深度学习的人脸表情识别[D];浙江理工大学;2015年

2 敖道敢;无监督特征学习结合神经网络应用于图像识别[D];华南理工大学;2014年

3 雒玉玺;稀疏自动编码器及其加速算法的研究[D];兰州大学;2014年

4 梁静;基于深度学习的语音识别研究[D];北京邮电大学;2014年

5 吴婷;基于PCA和SVM的中国多民族人脸识别研究[D];中央民族大学;2013年

6 林妙真;基于深度学习的人脸识别研究[D];大连理工大学;2013年

本文编号：2522342