非监督深度学习与优化一体化算法及应用研究

发布时间：2020-12-31 06:45

　　当前,深度学习与群体智能优化算法都是比较热门的研究课题。其中,非监督深度学习能够获得数据中抽象、本质的特征,群体智能优化算法可以应用在高维数据的聚类研究中。本文选择深度信念网络作为研究的非监督深度学习模型,蝙蝠算法作为聚类应用的算法。为了使得深度信念网络模型获得更本质的特征,蝙蝠算法聚类应用获得更好结果,本文提出非监督深度学习与群体智能优化一体化算法,最终根据一体化算法获得一个精简的深度信念网络结构与较好的蝙蝠算法聚类应用结果。本文研究内容主要包括以下几个方面内容:1、改进的蝙蝠算法。为了使得本文提出的一体化算法中优化的聚类应用能够获得较高的聚类准确率,提出一种改进的蝙蝠算法。改进的蝙蝠算法中,蝙蝠个体朝着适应度值较低的某个个体移动,这样可以避免陷入某个局部极值。那些被更新的蝙蝠个体也存在全局最优解,所以保留部分被更新的蝙蝠个体指导蝙蝠种群寻优。适应度值较高的个体周围存在全局最优解的概率较低,所以每次迭代后随机初始化1/3种群代替那些适应度值较高的蝙蝠个体。选择UCI中的Iris,Wine,Sonar,MNIST中部分数据集作为改进的蝙蝠算法与原始蝙蝠算法、差分进化算法等智能算法聚类应... 

【文章来源】：江南大学江苏省 211工程院校 教育部直属院校

【文章页数】：77 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第一章 绪论
    1.1 非监督深度学习与优化算法背景及意义
        1.1.1 非监督深度学习研究背景
        1.1.2 优化算法研究背景
        1.1.3 研究的意义和目的
    1.2 国内外研究现状
        1.2.1 非监督深度学习的国内外研究现状
        1.2.2 优化算法的国内外研究现状
    1.3 本文的研究内容及结构安排
        1.3.1 研究内容
        1.3.2 结构安排
    1.4 本章小结
第二章 非监督深度学习与优化算法相关理论
    2.1 深度学习
        2.1.1 深度学习优势
        2.1.2 深度学习结构
    2.2 非监督深度学习
        2.2.1 自动编码器
        2.2.2 深度信念网络
        2.2.3 深度玻尔兹曼机
    2.3 优化理论基本概念
        2.3.1 优化问题数学建模
        2.3.2 优化算法搜索目标
    2.4 优化算法
        2.4.1 遗传算法
        2.4.2 差分进化算法
        2.4.3 粒子群优化算法
        2.4.4 蝙蝠算法
    2.5 本章小结
第三章 改进的蝙蝠算法
    3.1 蝙蝠算法描述
        3.1.1 蝙蝠算法全局寻优
        3.1.2 蝙蝠算法局部寻优
    3.2 蝙蝠算法实现步骤
    3.3 蝙蝠算法存在的问题
    3.4 IDBA算法
        3.4.1 IDBA算法全局寻优策略
        3.4.2 IDBA算法指引方向分析
        3.4.3 IDBA算法局部寻优策略
        3.4.4 IDBA算法响度和脉冲率更新
        3.4.5 IDBA算法优胜劣汰策略
    3.5 IDBA算法聚类应用实现步骤
    3.6 实验及结果分析
        3.6.1 数据集
        3.6.2 聚类准则及聚类评价指标
        3.6.3 算法参数设置
        3.6.4 实验1
        3.6.5 实验2
        3.6.6 实验分析
    3.7 本章小结
第四章 基于蝙蝠算法的DBN网络结构确定方法研究
    4.1 受限玻尔兹曼机（RBM）
        4.1.1 受限玻尔兹曼机结构
        4.1.2 RBM无监督训练
    4.2 深度信念网络（DBN）
        4.2.1 深度信念网络结构
        4.2.2 深度信念网络训练
    4.3 基于蝙蝠算法的DBN网络结构确定算法
        4.3.1 DBN网络结构模型评价标准
        4.3.2 DBN结构确定与优化一体化算法
        4.3.3 DBN结构确定与优化一体化算法流程图
    4.4 实验结果与分析
        4.4.1 数据集
        4.4.2 相关参数
        4.4.3 极大值标准化处理原始数据聚类
        4.4.4 DBN结构确定与IDBA一体化算法中的聚类
        4.4.5 实验分析
    4.5 本章小结
第五章 基于DBNSD算法的DBN网络结构确定方法研究
    5.1 Lipschitz连续条件下的收敛
    5.2 DBNSD算法增加隐含层神经元
        5.2.1 随机设定的隐含层神经元个数
        5.2.2 单个样本角度增加隐含层神经元
        5.2.3 所有样本角度增加隐含层神经元
        5.2.4 DBNSD算法中层数增加方法
    5.3 一体化算法中优化算法的聚类应用
    5.4 DBN结构确定与优化一体化算法流程图
    5.5 实验及结果分析
        5.5.1 数据集
        5.5.2 相关参数
        5.5.3 对归一化的数据聚类测试
        5.5.4 文献[70]方法提取的特征对应的聚类测试
        5.5.5 一体化算法中的聚类测试
        5.5.6 实验分析
    5.6 本章小结
总结与展望
    主要结论
    展望
致谢
参考文献
附录：作者在攻读硕士学位期间发表的论文


【参考文献】：
期刊论文
[1]基于动态Gibbs采样的RBM训练算法研究[J]. 李飞,高晓光,万开方.  自动化学报. 2016(06)
[2]基于遗传算法的RBM优化设计[J]. 刘凯,张立民,孙永威.  微电子学与计算机. 2015(06)
[3]基于禁忌搜索的蝙蝠算法[J]. 罗波,袁嵩,朱合志.  计算机时代. 2014(12)
[4]函数优化的量子蝙蝠算法[J]. 李枝勇,马良,张惠珍.  系统管理学报. 2014(05)
[5]一种改进的自适应变异蝙蝠算法[J]. 盛孟龙,贺兴时,王慧敏.  计算机技术与发展. 2014(10)
[6]深度学习研究进展[J]. 刘建伟,刘媛,罗雄麟.  计算机应用研究. 2014(07)
[7]基于DE算法改进的蝙蝠算法的研究及应用[J]. 肖辉辉,段艳明.  计算机仿真. 2014(01)
[8]机器学习面临的挑战[J]. 张长水.  中国科学:信息科学. 2013(12)
[9]新型全局优化蝙蝠算法[J]. 李煜,马良.  计算机科学. 2013(09)
[10]深度学习的昨天、今天和明天[J]. 余凯,贾磊,陈雨强,徐伟.  计算机研究与发展. 2013(09)

博士论文
[1]量子行为粒子群优化算法研究[D]. 孙俊.江南大学 2009



本文编号：2949164