受限玻尔兹曼机的改进及其应用

发布时间：2018-02-16 06:22

本文关键词： 深度置信网受限玻尔兹曼机稀疏表示 arctan函数弹性网络　出处：《广东工业大学》2017年硕士论文　论文类型：学位论文

【摘要】：深度学习(Deep Learning),作为发现数据的分布式特征表示的方法,引起了机器学习领域普遍的关注.在深度学习方法中,深度置信网(Deep Belief Network,DBN)是最著名的方法之一,并已经成功地应用到各种机器学习任务.受限玻尔兹曼机(Restricted Boltzmann Machine,RBM)是一个生成模型,能够在无监督学习场景下自动提取数据特征.目前,RBM因其自身强大的特征提取能力以及作为深度置信网的基本构成模块,引起了机器学习界的密切关注,在众多领域中得到了广泛的应用.本文通过分析受限玻尔兹曼机的学习算法--对比散度(Contrastive Divergence,CD),提出了RBM存在特征同质化的倾向.针对此问题,结合稀疏表示,本文尝试对受限玻尔兹曼机进行改进.1.结合稀疏表示,本文我们使用arctan函数来迫使隐含单元稀疏,提出了新的稀疏RBM,称之为AtanRBM.AtanRBM使用arctan函数来约束隐含单元总的激活概率来获得稀疏表示,从而避免特征同质化问题的出现.在本方法中,每个隐含单元的稀疏度水平能够根据手头的任务自动地学习.在MNIST数据集的实验表明,相对于RBM和稀疏受限玻尔兹曼机(Sparse Restricted Boltzmann Machine,SRBM),AtanRBM能够学习到更加稀疏更有辨别力的特征.同时,应用AtanRBM预训练深度置信网,深度置信网在MNIST数据集能够取得不错的分类效果.2.鉴于隐含单元之间可能存在统计相关性,我们提出了基于弹性网络的新RBM模型,称之为EN-RBM.其中,我们采取适当的策略将弹性网络惩罚项引入RBM的对数似然函数中.该策略通过RBM隐含单元的特征的相似性进行自适应分组,将隐含单元分为两组,并分别使用1L范数和2L范数对其相应的隐含单元的激活概率进行约束,以确保表示的稀疏和泛化能力.在MNIST数据集的实验表明,EN-RBM具备更强的非监督学习能力.与此同时,应用EN-RBM构建深度置信网,深度置信网在MNIST数据集上能够更好地完成分类任务.
[Abstract]:In this paper , we put forward a new RBM model based on elastic network . In this method , we use arctan function to constrain the total activation probability of hidden units to obtain sparse representation .

【学位授予单位】：广东工业大学
【学位级别】：硕士
【学位授予年份】：2017
【分类号】：TP181

【参考文献】