一种块增量偏最小二乘模型的研究

发布时间：2020-03-29 11:02

【摘要】：随着互联网技术的高速发展,各个领域的数据迅猛增长,我们进入了大数据(Big Data)时代。然而,数据量的增长不只带来了丰富的信息资源,更高的数据维数往往也相伴而至。为了能够顺利的对高维数据进行处理分析,就需要预先对数据进行降维处理。传统的数据降维算法一般采用批量方式(Batch Model)进行训练,这种训练方式需要在训练之前将所有样本数据载入内存;随着数据规模的不断扩大,传统的数据降维算法会因为所需的内存过大而无法使用。因此,如何让传统的数据降维模型适应并处理海量的高维数据是大数据时代研究的焦点之一。对于样本数量过多的情况,增量学习(Incremental Learning)技术是有效的解决办法之一。作为一种增量数据降维模型,增量式偏最小二乘(Incremental Partial Least Squares,IPLS)将增量学习技术与偏最小二乘模型相互结合,较好的解决了大规模数据的降维问题。但是,IPLS模型以单个样本为单位进行模型的更新,导致模型的计算效率不高、训练时间较长。针对这一问题,本文基于现有研究的基础上提出了一种块增量偏最小二乘(Chunk Incremental Partial Least Squares,CIPLS)算法,主要的创新性工作为:基于数据分块更新的思想对IPLS算法进行扩展,提出了一种块增量偏最小二乘算法。CIPLS模型将新增的样本数据划分为若干个数据块(Chunk),再以数据块为单位进行模型的在线更新,从而降低模型的更新频率,缩短训练时间。本文在K8版本的p53蛋白数据集和路透文本分类语料库上进行了大量的CIPLS算法与已有算法的对比实验。实验结果表明,本文提出的方法明显提高了增量式偏最小二乘算法的计算效率,大幅度缩短了训练时间,验证了块增量偏最小二乘算法的有效性。
【图文】：

降维处理,数据,降维技术,降维

本章对本文的研究内容中涉及到的相关基础理论知识进行介绍，包括数据降维技术与增量学习技术的概况介绍。首先阐述了数据降维技术的原理并列举了相关的数据降维方法；然后对增量学习技术的概念进行了说明，最后对改进的增量式数据降维方法进行了综述性的介绍。2.1 数据降维技术概况数据的特征维数不宜过高，这已经是模式识别领域的一条经验性的“公理”[21]。一般来说，大部分的分类模型都需要估计一些未知的参数，而这些参数的数量通常和特征空间的维数相关。在实际情况下，如果训练样本的数量有限，过高的特征维数往往会降低参数估计的精度，从而导致分类模型的性能下降。因此，在许多应用中，一般的做法是：首先，在最大限度的保留原始数据的信息的前提下，将数据的特征维数降低到一个合适的范围；然后再把降维后的数据送入后续的处理系统。数据降维的一般处理过程如图 2.1 所示。

原理图,多因变量,原理图

LS 算法在提取主成分时，同时考虑自变量和因变量的相关信方法提取得到的主成分既能表达自变量的信息，也能表达因研究的焦点是通过抽取潜在成分（latent component, latent var变量和多因变量的数据进行建模分析。其核心假设是，认为少量潜在成分（不是直接观察或测量到的变量）驱动的系统到潜在成分后，就可以采用潜在成分来表示原始数据，从而果。基于得到的低维空间，我们就可以方便的进行后续的分可以按照因变量数量的不同分为两类：多因变量 PLS 算法和。下面就分别对这两类算法进行介绍。变量 PLS 算法n 个观测样本点，自变量 = [ 1 2… ]和因变量 = , 1造样本数据矩阵 ∈ × 和 ∈ × 。
【学位授予单位】：南昌大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP181

【相似文献】