基于深度学习的聚类关键技术研究

发布时间：2017-06-21 05:00

  本文关键词：基于深度学习的聚类关键技术研究，，由笔耕文化传播整理发布。

【摘要】：自从2006年以来深度学习已经成为人工智能和机器学习领域的一大热点。并且在无监督特征学习领域展现出了巨大的潜力。深度学习是一系列深度学习算法的统称,其利用深度结构来学习数据中存在的深层模式和隐含特征。聚类技术是机器学习和数据挖掘领域的一大研究热点,是一种无监督学习方法。聚类是在不需要先验知识的情况下,自主地学习原始数据中的隐含簇结构。本论文提出一种基于深度学习的聚类模型,并利用深度信念网(DBN)和Fuzzy C-means (FCM)实现一种聚类算法。该模型分成两个部分：预训练部分和微调部分。预训练部分由深层结构和预聚类层组成。首先预训练部分为：使用多层限制性玻尔兹曼机进行网络预训练,以此得到深层结构预训练的深层特征表示,然后通过预聚类层使用一种简单的聚类算法对预训练得到的深层特征表示进行预聚类,并得到初步的聚类中心和类标签。接下来是微调部分,微调部分为：使用展开后的微调网络对预训练部分已经学习到的网络参数进行微调,同时进行聚类优化学习。微调部分的结构是将预训练深层结构展开并加上聚类层。微调部分采用交叉迭代的方法对目标公式进行优化,使得聚类结果和特征学习能够同时达到最优的效果。该模型充分利用了深度学习和聚类技术的无监督学习的共性,将深度学习的优势和聚类相结合,使得聚类效果更好和对高维数据聚类时更加便捷。在该模型的基础上,本文又采用深度信念网和FCM算法实现一种聚类算法(DBNOC)。该算法既有深度信念网的优点,同时又是一种软聚类方法。该算法在微调优化的过程中主要采用了BP反向传播的方法。最后,通过在高维度数据和低维度数据上实验验证本论文所提出模型的有效性。实验结果表明该模型具有很好泛化性,在低维数据和高维数据上都表现良好。相比于普通的聚类算法表现出更好的聚类效果。相对于较繁琐原始数据与处理过程,该模型则简单,适应性更好。
【关键词】：深度学习 聚类 特征表示 无监督学习 深度结构
【学位授予单位】：西南交通大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP181;TP311.13
【目录】：

• 摘要6-7
• Abstract7-11
• 第1章 绪论11-18
• 1.1 本研究课题的背景和意义11-13
• 1.2 国内外研究现状13-16
• 1.2.1 深度学习研究现状13-15
• 1.2.2 聚类技术整体现状15-16
• 1.3 本文主要研究内容和结构安排16-18
• 第2章 深度学习和聚类技术18-28
• 2.1 深度学习的概念和理论18-22
• 2.1.1 人工神经网络18-20
• 2.1.2 深度结构的优点和训练方法20-22
• 2.1.3 深度结构分类22
• 2.2 深度学习的应用22-24
• 2.3 聚类技术分析24-26
• 2.3.1 聚类的定义24-25
• 2.3.2 聚类的分类25-26
• 2.4 本章小结26-28
• 第3章 基于深度学习的聚类模型28-41
• 3.1 深度学习的基本结构28-33
• 3.1.1 玻尔兹曼机28-29
• 3.1.2 受限玻尔兹曼机29-32
• 3.1.3 自动编码机32-33
• 3.2 基于深度学习的聚类模型结构33-36
• 3.3 基于深度学习的聚类模型的特点和目标公式36-38
• 3.4 基于RBM编码的聚类方法38-40
• 3.4.1 RBM编码38-39
• 3.4.2 RBM中的Gibbs采样39
• 3.4.3 基于RBM编码的聚类39-40
• 3.5 本章小结40-41
• 第4章 基于DBN和FCM的聚类算法41-49
• 4.1 DBN和FCM算法41-44
• 4.1.1 DBN算法41-42
• 4.1.2 FCM算法42-44
• 4.2 算法思想44
• 4.3 基于DBN和FCM的聚类算法44-47
• 4.3.1 算法描述44-46
• 4.3.2 算法流程46-47
• 4.4 本章小结47-49
• 第5章 实验结果与分析49-63
• 5.1 实验评价标准49
• 5.2 基于RBM编码聚类实验参数49-50
• 5.2.1 实验参数49-50
• 5.3 基于RBM编码聚类实验结果分析50-53
• 5.3.1 实验数据集50-51
• 5.3.2 结果分析51-53
• 5.4 DBNOC算法实验结果与分析53-62
• 5.4.1 实验数据集53-54
• 5.4.2 实算法中网络节点设置54-55
• 5.4.3 聚类结果分析55-57
• 5.4.4 实验算法微调部分收敛性分析57-62
• 5.5 本章小结62-63
• 总结与展望63-65
• 致谢65-66
• 参考文献66-71
• 攻读硕士学位期间发表的论文71

【相似文献】

中国期刊全文数据库 前10条

1 全燮,许建峰,杨凤林,郎佩珍;模糊混合聚类法对污染物优先排序及分类的探讨[J];大连理工大学学报;1993年04期

2 宋云昌;;基于分类的聚类方法研究及其应用[J];电脑编程技巧与维护;2011年10期

3 陈晓云;敏玉芳;郑良仁;杨丽;;一种快速山峰聚类算法[J];计算机应用研究;2008年07期

4 蒋永福,李景正;论知识聚类[J];图书情报工作;2000年12期

5 王伦文;;聚类的粒度分析[J];计算机工程与应用;2006年05期

6 沈晶;顾国昌;刘海波;;基于免疫聚类的自动分层强化学习方法研究[J];哈尔滨工程大学学报;2007年04期

7 赵珩君;;客观聚类在客户价值细分中的研究[J];情报杂志;2009年03期

8 邓青;;基于区域密度的山峰聚类算法[J];计算机光盘软件与应用;2013年12期

9 周丽华,王丽珍;基于聚类的比例规则[J];计算机工程与应用;2001年14期

10 杨燕;张昭涛;;基于阈值和蚁群算法结合的聚类方法[J];西南交通大学学报;2006年06期

中国重要会议论文全文数据库 前3条

1 彭泽映;俞晓明;许洪波;;大规模短文本的不完全聚类[A];第六届全国信息检索学术会议论文集[C];2010年

2 余琳;邓玲;;常见聚类算法的比较以及DSS系统中的应用[A];湖北省通信学会、武汉通信学会2009年学术年会论文集[C];2009年

3 王静红;刘教民;李笔;;基于聚类的噪音消除方法[A];2006中国控制与决策学术年会论文集[C];2006年

中国重要报纸全文数据库 前1条

1 大摩多因子基金经理 张靖;聚类法扩大超额收益空间[N];中国证券报;2012年

中国博士学位论文全文数据库 前7条

1 吕宗磊;对聚类及聚类评价若干问题的研究[D];南京航空航天大学;2009年

2 张强;聚类算法的维度分析[D];天津大学;2007年

3 陈树;聚类算法模型的研究及应用[D];江南大学;2007年

4 朱红;粒度聚类方法研究[D];中国矿业大学;2013年

5 刘培强;两元矩阵聚类算法研究[D];山东大学;2013年

6 刘位龙;面向不确定性数据的聚类算法研究[D];山东师范大学;2011年

7 李桃迎;交通领域中的聚类分析方法研究[D];大连海事大学;2010年

中国硕士学位论文全文数据库 前10条

1 陈月敏;基于改进聚类的电网支路参数多代理辨识与估计[D];燕山大学;2015年

2 关梦园;基于聚类的流场简化[D];北京理工大学;2015年

3 何翔;匿名路由器识别新方法的研究[D];电子科技大学;2015年

4 杨琪;基于深度学习的聚类关键技术研究[D];西南交通大学;2016年

5 张云;图聚类质量评价指标体系的对比分析研究[D];山西大学;2012年

6 王莹;应用于体质分类的聚类方法研究及改进[D];西安电子科技大学;2007年

7 吴艳文;聚类中的特征学习研究[D];合肥工业大学;2007年

8 罗如意;反馈式聚类算法研究[D];华中科技大学;2008年

9 王丽娟;特征权学习在无导师聚类中的应用[D];河北大学;2003年

10 马倩;基于模式聚类的理论研究[D];燕山大学;2007年

  本文关键词：基于深度学习的聚类关键技术研究，由笔耕文化传播整理发布。

本文编号：467651