二型模糊深度信念网络的研究与应用

发布时间：2016-08-20 06:17

第1章 绪  论 

1.1  课题背景 
随着数据采集、存储技术和互联网技术的高速发展，高维数据大量涌现，如遥感图像、高清视频。如何充分利用这些数据，以促进社会进步，成为了一个重点问题和研究热点。因此人们采用各种方法来构建智能系统，其中人工智能技术因其具有坚实的理论基础，而作为一项重要支撑技术。回归学习作为人工智能领域最有效的基础工具之一，在预测模型得到了广泛应用。 一般的回归预测模型主要包括：数据采集与处理，数据降维和预测模型构建。数据采集与处理是利用传感器将物理信号转变为数字信号，并进行时频转换、降噪、归一化等预处理。数据降维主要包括特征选择和特征提取，其中特征选择通过一定规则，在原始特征空间中，来选择有效特征，特征提取通过某一映射，来提高特征的辨别能力和降低噪声。预测模型构建则是利用降维所得特征输入和样本标签建立预测模型。 数据降维，作为预测模型的关键技术，可以提高预测模型的性能。随着数据维数的增多，许多预测模型的性能会显著下降，主要表现为过度拟合，即产生所谓的“维数灾难”。同时高维数据也存在着数据冗余和噪声，若将高维数据直接输入预测模型，难以获得良好的预测精度。而数据降维可以减少冗余和噪声，增加类间间的区分度，从而得到较好的特征，有利于构建后续的预测模型。其中深度信念网络(Deep  Belief  Network, DBN)可以提取非线性特征，在特征表示方面得到了广泛应用。预测模型通过建立提取特征和标签之间的关系，得到相应的模型。其中模糊逻辑系统(Fuzzy Logic System, FLS)是一种常用的预测模型，它能够处理数据中存在的随机性和不确定性。然而，目前通常是分别构建降维模型和回归模型。因此，需要考虑一个问题——降维所得特征是否适合于回归模型。于是，本文提出了一个计算框架，首先对预处理特征进行降维，然后输入到预测模型，最后通过反向传播算法对降维模型和预测模型的参数进行调整。
............

1.2  深度神经网络概述 
深度神经网络是一种多层的神经网络，在语音识别[1][2]、目标识别[3]、物体检测[4]等领域得到了广泛应用，并得到了优异的结果，其中在这些智能系统中，深度神经网络作为分类器或者特征表达器。深度学习是一种表示学习方法，可以进行不同层次的表示，通过若干层简单的非线性模块就可以学习复杂的函数关系，具有优于浅层模型的表达能力，并且可以通过标签，增强区分度和抑制无关变化。而在传统的建模方法中，往往需要进行复杂的预处理来构建人工特征[5]，这对于具有大量样本的数据集来说，成本往往十分巨大，因此限制了此类算法的应用。目前研究者为了扩大机器学习算法的应用范围，采用深度学习理论来自主地进行特征表示，然后再利用相应的机器学习模型进行处理。 DBN 的训练主要过程为：首先基于无标签的训练集中蕴含的信息采用对比散度(contrastive divergence, CD)算法逐层地训练每个 RBM，为网络确定较好的权值，再基于标签信息利用有监督的反向传播算法微调构建好的 DBN，从而增强了其提取有效特征的能力，提高了不同类别特征之间的辨别力。在传统的人工神经网络(Artificial  neural networks, ANN)中，由于隐含层的增多，易于产生梯度弥散问题，限制了 ANN 理论的发展与应用。而 DBN 首先利用 CD 算法对网络进行无监督的预训练，获得较优权值，大大减弱了梯度弥散问题的影响。 
.........

第2章 深度神经网络 

2.1  引言 
随着时代的发展，计算能力的大大提高，深度神经网络在模式识别的各个领域均得到了广泛应用。深度神经网络由多个隐含层组成，是一类优异的特征表示方法，能通过若干个简单的非线性变换逼近复杂的函数关系，并从原始数据中抽取出有效特征。若在有监督的训练过程中，可以增强特征的辨别能力，并且抑制无关变化，进而避免了人工设计特征的复杂性。 深度信念网络是一种主要的深度学习方法，由若干个受限玻尔兹曼机和一个有监督的输出层组成，在机器学习的各个领域得到了广泛应用，如分类和特征提取。它采用无监督的预训练，获取了较好的初始权值，解决了传统的多层感知机的梯度弥散问题。在实际应用场景中，获得样本的全部标签往往是难度较大且代价昂贵，而可以进行半监督的学习，因此得到了广泛的应用。在本章，首先将简要介绍自编码器、卷积神经网络、递归神经网络等内容，然后全面地介绍深度信念网络的基本概念、训练算法等内容。
..........

2.2 常见的深度学习结构 
除了深度信念网络之外，常见的深度神经网络的结构还包括自编码器、卷积神经网络、递归神经网络等。自编码器的训练思想是把输入复制到输出，，在这个过程中，去除一些噪声信息，达到对输入进行有效编码的目的，它主要用于特征学习、分类和信息检索。卷积神经网络，利用局部感受野、权值共享和子采样，在图像处理、语音识别等领域得到了广泛应用。递归神经网络将之前的隐含层输出作为当前单元的输入，在序列型数据的建模表现优异。  
..........

第 3 章  区间二型模糊逻辑系统 ..... 17 
3.1  引言 ......... 17 
3.2  二型模糊集合 ......... 17 
3.2.1  基本概念 ...... 17 
3.2.2  二型模糊集合的运算 ....... 20 
3.3 二型模糊逻辑系统 ......... 20 
3.4  区间二型模糊逻辑系统 ....... 22 
3.5  区间模糊逻辑系统的设计 ........ 27 
3.6  本章小结 .......... 30 
第 4 章  二型模糊深度信念网络 .... 31 
4.1  引言 .... 31 
4.2  二型模糊深度信念网络的结构 ......... 31 
4.3  二型模糊深度信念网络的训练 ......... 32 
4.4  本章小结 .......... 35 
第 5 章  基于二型模糊深度信念网络的软测量模型 ....... 37 
5.1  引言 .... 37 
5.2  实验结果及讨论 ..... 38 
5.3  本章小结 .......... 52 

第5章 基于二型模糊深度信念网络的软测量模型 

5.1  引言 

滚筒式球磨机是一种用于磨矿及制粉工业过程中的主要设备。由于其封闭旋转运行的工作特性，球磨机料位难以直接有效测量，导致经常发生空磨、饱磨、堵磨等现象，造成生产效率和安全性的降低。因此准确可靠检测料位，使球磨机运行在最佳状态，对提高系统的稳定性和经济性具有重要意义。 近年来，科研人员针对球磨机料位的测量提出了许多软测量模型，以解决这一问题。软测量模型是利用易被测量的辅助变量来估计难以直接检测的主导变量的推理模型[53]。在球磨机料位软测量中，难以检测的变量是球磨机料位，而易被检测的变量是振动信号、振声信号等。这些模型构建的基本思路为先采用降维等方法对频谱特征进行处理，然后建立所得特征与料位之间的模型。降维能起到去除冗余信息，消除部分噪声和提取本质特征等作用，主要方法包括特征提取和特征选择两类。文献[54]利用希尔伯特变换(Hilbert Transformation, HT)从振声信号中分解出低频料位信息，并进行料位特征的提取，最后利用反向传播(Backpropagation, BP)神经网络建立料位与振声信号的关系模型。文献[55]采用主元分析方法(Principal Component Analysis, PCA)提取振动功率谱特征，再采用支持向量回归(Support Vector Regression, SVR)建立料位和频谱特征的模型，但是 PCA 是一种线性降维方法，只能提取线性特征。文献[56]采用核主元分析(Kernel  Principle Component  Analysis,  KPCA)提取非线性振动频谱特征，然后选用极限学习机(Extreme Learning Machine, ELM)构建选择性集成模型。但是，PCA、KPCA 采用非监督的方式进行降维，提取的特征不一定与输出数据最相关，而偏最小二乘法(Partial  Least  Squares, PLS)、核偏最小二乘法(Kernel Partial Least Squares, KPLS)能同时提取输入输出数据变化的潜变量用于建模[57]。文献[58]采用 PLS 进行振动信号频谱特征提取，然后通过 ELM进行信息融合和数据回归。文献[59]首先对本征模态函数(Intrinsic  Mode  Function,  IMF)频谱进行特征选择，然后基于 KPLS 建模方法、分支定界优化算法建立磨机负荷软测量模型。可见，在目前的软测量模型中，降维起到去除冗余和非线性等作用，然后将提取特征输入到预测模型中进行预测。但是一般的方法均未考虑降维模型和预测模型之间的匹配性。

...........

结论 

在现实世界中，数据中经常存在高维、非线性、噪声等特性。这些性质对预测模型的精度产生较大影响。因此，需要首先对数据进行降维，然后建立预测模型。然而在大多数混合模型中，由于降维模型和预测模型是独立建立的，两者之间可能存在着一定的不匹配性，这影响了决策的进行和精度的提高。并且在实际生活中获取样本的全部标签代价往往十分巨大，需要考虑一种半监督的建模方法，从而能够充分利用无标签样本中包含的信息，降低建模成本，保证模型精度。 为了降低数据中存在的影响建模的因素和降维模型与预测模型之间存在的不匹配性，并且使模型能够适应于难以获得样本的全部标签的应用场景，提出了一种新的计算框架——二型模糊深度信念网络。首先利用深度信念网络建立降维模型，然后将降维特征输入到预测模型中，最后通过反向传播算法调整整个网络的参数。所提出的计算框架在实验室球磨机料位数据上进行了测试和验证。本文进行的研究工作主要包括以下几个方面： 
1.  利用深度信念网络建立了降维模型。首先利用对比散度算法对网络进行初始化，获得较好的权值，以减弱梯度弥散的影响，然后基于样本标签利用反向传播算法对网络进行微调，最后将样本输入到深度信念网络中，经过逐层的特征抽取，得到提取有效的特征，经过降维，降低存在的非线性、冗余性，同时提高类别间的辨别性。因对比散度算法是一种无监督的学习算法，能充分利用无标签样本中的信息，可以基于全部无标签样本进行预训练，部分有标签样本进行微调，因此深度信念网络可以作为一种半监督的特征学习方法。 
2.  采用二型模糊逻辑系统建立了预测模型。降维后的特征仍然存在着随机性、不确定性和非线性，因此考虑采用在处理不确定性数据上存在较大优势的二型模糊逻辑系统来建立预测模型。同时，二型模糊逻辑系统在预测时，可以给出预测值的上下界，为决策提供更多依据。此外，模糊逻辑系统是基于规则而构成的模型，可以通过规则的激活强度对模糊逻辑系统进行一定的解释性，方便在未来的调试中，为系统添加专家知识。 
.........
参考文献(略)

本文编号：98632