基于平行化运算的权重张量近似法之研究

发布时间：2021-01-23 08:19

　　这篇文章的研究目标是在Apache Spark平台上实现权重张量近似法（Weighted Tensor Approximation,WTA）,同时使得张量压缩时间尽可能地短。与一般张量近似法（Tensor Approximation,TA）不同的是,在数据压缩过程中,本文对输入数据的有效性进行了考量,即通过给原始数据中的无效数据和有效数据分别赋予不同的权重来消除无效数据对于有效数据的干扰,从而得到更好的近似结果。同时,由于原始数据非常大,单一节点压缩不仅需要很长时间,对硬件也是一个巨大的挑战,因此提出将数据压缩过程变成平行化计算过程从而提高压缩速度。由于与Apache Hadoop相比,Apache Spark平台具有更快的平行化运算速度,故选择在Spark平台上进行实作。最重要的是,在设计权重张量近似法的算法时,为了妥善加速Spark平台上的权重张量近似法,我们将原本权重张量近似法的多重线性问题转化为了一般线性问题,同时还设计将原始数据切分成小区块,并在实验过程中建立了一套适合在Spark平台上进行快速运算的方法,从而达到了进一步减少压缩时间的目的。实验结果证明,权重张量近似法的渲染... 

【文章来源】：天津大学天津市 211工程院校 985工程院校 教育部直属院校

【文章页数】：59 页

【学位级别】：硕士

【部分图文】：

图2-1张量分解示意图

非线性优化方法快速可靠。之后的几十年里，研究学者在拟牛顿法的基础之上又研究出 DFP 方法、BFGS 方法和 L-BFGS 等算法，使得拟牛顿法得到了蓬勃发展。拟牛顿法的优化模型通常可以归结为最小化一个多元函数 ( )，其中输入 是一个多维向量，如果求解出(2-6)式，那么 就是优化结果。 ( ) (2-6)拟牛顿法通过实现对Hessian矩阵[34]的近似从而解决了在大数据集的情况下难以计算和存储海森矩阵的问题，由此实现了对牛顿法的改进；接着 Davidon 提出、Fletcher 和 Powell 改进了 Hessian 矩阵逆的近似方法，提出了 DFP 算法；BFGS 算法是对 DFP 的进一步改进，由于具有及时矫正近似 Hessian 矩阵的能力，相比于 DFP，BFGS 具有更好的性能；L-BFGS 是从节约机器内存方面来对 BFGS算法进行优化，通过只保留最近的几次迭代信息来拟合 Hessian 矩阵，从而达到了节约内存的目的。图 2-4 是 L-BFGS 算法的简要流程图，其中循环求解步骤求解的是目标函数值和梯度函数值。在本文中使用的是 Spark Mllib 中的 L-BFGS机器学习函数，L-BFGS 的具体原理和在 Spark 上的应用可参考[6][35]。

图 2-6 Spark 组成图xtWorker NodeExecutorCTask TWorker NodeExecutorCTask TCluster Manager


本文编号：2994881