基于受限玻尔兹曼机的深度学习方法研究

发布时间：2017-10-04 21:27

  本文关键词：基于受限玻尔兹曼机的深度学习方法研究

  更多相关文章： 受限玻尔兹曼机 胶质细胞 自组织网络 特征提取

【摘要】：深度学习作为机器学习领域的一个重要研究方向,在近年来发展迅速。深度学习的主要思想是通过构建多层的深度网络结构,使用高效的算法逐级提取数据的高级特征,来完成多种无监督或有监督学习任务。深度学习方法可看作神经网络相关研究的进一步发展与延伸,解决了以往多层神经网络训练困难的缺陷,同时也在神经科学研究中获取灵感,并结合其他机器学习理论和方法不断改进。在深度学习的主流模型中,受限玻尔兹曼机是一种重要的结构组成单元,由两层单元组成,借助于受限玻尔兹曼机的概率特性,其组成的多层深度结构可以首先使用逐层训练,然后整体使用神经网络的训练方法进行参数的微调。这种方式不仅简化了训练过程,也提高了深度网络对无标签数据特征提取的效率。本文主要研究基于受限玻尔兹曼机的深度学习方法,建立新的模型结构,并改进其训练算法。主要研究成果为：1.考虑到受限波尔兹曼机层内单元间没有相互连接的特殊结构,数据内部的关联信息将会丢失,因此提出基于胶质细胞链的改进受限玻尔兹曼机及深度信念网络模型。胶质细胞是人脑中的一种特殊的神经细胞,与一般神经元相连,不仅可以调控神经元的状态,还可向其他胶质细胞传递信号。本文向受限玻尔兹曼机中引入了胶质细胞链,定义了相关激活更新规则,组成了多层的深度网络结构,并提出了种改进的训练算法,使深度网络的训练速度提高,并增强了数据特征提取的性能。2.胶质细胞链使得受限玻尔兹曼机层内单元间可以相互传递信息,但其单元的激活并没有受到约束,导致提取出的特征区分性较差。因此本文结合神经网络中的一种结构自组织网络相关理论,构建出了基于自组织网络和胶质细胞链的改进受限玻尔兹曼机模型,并提出了对应的改进训练算法,进一步提高学习效率,获取更优秀的图像特征。3.深度学习方法应用广泛,本文主要研究了受限玻尔兹曼机及其改进结构组成的深度网络在图像分类上的应用,通过在三个标准图像数据集上的大量实验,以及在人脸识别中的实际应用,测试并验证所提出的改进模型的分类准确率,收敛速度,并尝试调整相关人工参数,以适应图像分类及识别应用任务,达到其最优性能。
【关键词】：受限玻尔兹曼机 胶质细胞 自组织网络 特征提取
【学位授予单位】：北京化工大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP181
【目录】：

• 摘要4-6
• ABSTRACT6-15
• 第一章 绪论15-23
• 1.1 课题研究背景15
• 1.2 国内外研究现状15-20
• 1.2.1 深度学习领域研究现状15-17
• 1.2.2 RBM及DBN研究现状17-18
• 1.2.3 胶质细胞研究现状18-19
• 1.2.4 SOM研究现状19-20
• 1.3 课题研究内容20-21
• 1.4 论文组织结构21-23
• 第二章 受限玻尔兹曼机与深度信念网络23-35
• 2.1 概率图模型23-25
• 2.1.1 无向图模型和马尔可夫随机域23-24
• 2.1.2 无监督学习24-25
• 2.2 马尔可夫链和马尔科夫链蒙特卡洛方法25-27
• 2.2.1 马尔可夫链和平稳性收敛25-26
• 2.2.2 吉布斯采样26-27
• 2.3 受限玻尔兹曼机27-31
• 2.3.1 RBM对数似然函数梯度30-31
• 2.4 RBM训练算法31-32
• 2.5 深度信念网络32-34
• 2.6 本章小结34-35
• 第三章 胶质细胞链改进的RBM及DBN35-49
• 3.1 胶质细胞及其生物机制35
• 3.2 基于胶质细胞链的改进RBM及DBN35-39
• 3.2.1 改进RBM隐含层单元输出更新规则36-37
• 3.2.2 改进RBM及DBN的学习算法37-39
• 3.3 实验测试39-48
• 3.3.1 MNIST数据集40-42
• 3.3.2 CIFAR-10数据集42-44
• 3.3.3 Rectangles images数据集44-45
• 3.3.4 基于胶质细胞改进模型的参数选择45-48
• 3.4 本章小结48-49
• 第四章 基于SOM和胶质细胞链的改进RBM及DBN49-63
• 4.1 SOM网络及训练算法49-56
• 4.1.1 SOM网络的生物学基础49-50
• 4.1.2 向量量化与SOM50-52
• 4.1.3 SOM中的相似度规则52-53
• 4.1.4 SOM网络结构53-54
• 4.1.5 SOM训练算法54-56
• 4.2 基于SOM和胶质细胞链的改进RBM及DBN训练算法56-57
• 4.2.1 RBM采样阶段56
• 4.2.2 SOM竞争阶段56-57
• 4.2.3 胶质效果更新阶段57
• 4.2.4 RBM参数更新阶段57
• 4.3 实验测试57-62
• 4.3.1 MNIST数据集58-59
• 4.3.2 CIFAR-10数据集59-61
• 4.3.3 Rectangles images数据集61-62
• 4.4 本章小结62-63
• 第五章 改进模型在人脸识别中的应用63-69
• 5.1 数据预处理63-65
• 5.2 训练基于胶质细胞链的改进DBN模型65-66
• 5.3 训练基于SOM和胶质细胞链的改进DBN模型66-67
• 5.4 本章小结67-69
• 第六章 结论与展望69-71
• 6.1 结论69-70
• 6.2 展望70-71
• 参考文献71-77
• 致谢77-79
• 研究成果及发表的学术论文79-81
• 作者与导师简介81-83
• 北京化工大学硕士研究生学位论文答辩委员会决议书83-84

【相似文献】

中国期刊全文数据库 前3条

1 刘来福，，唐志宇，匡锦瑜;向量玻尔兹曼机[J];北京师范大学学报(自然科学版);1996年04期

2 秦胜君;卢志平;;基于限制玻尔兹曼机的无极性标注情感分类研究[J];科学技术与工程;2013年35期

3 ;[J];;年期

中国硕士学位论文全文数据库 前10条

1 李娟;基于RBM的小分子活性及选择性研究[D];兰州大学;2015年

2 叶睿;基于深度学习的人脸检测方法研究[D];哈尔滨工业大学;2015年

3 张卫东;深度信念网络及其在手写字体识别中的应用[D];成都理工大学;2015年

4 施维劏;门限玻尔兹曼机在人脸识别中的鲁棒性研究[D];北京交通大学;2015年

5 万程;自适应基数受限玻尔兹曼机[D];清华大学;2015年

6 李亦锬;受限的玻尔兹曼机在背景建模和文本建模中的研究与应用[D];中国科学技术大学;2016年

7 张艳霞;基于受限玻尔兹曼机的深度学习模型及其应用[D];电子科技大学;2016年

8 朱常宝;基于深度玻尔兹曼机的特征学习算法研究[D];北京化工大学;2016年

9 张怡康;基于受限玻尔兹曼机的深度学习方法研究[D];北京化工大学;2016年

10 王海麟;通过信息几何方法挖掘玻尔兹曼机的不变性[D];天津大学;2014年

本文编号：972951