基于Spark平台的大矩阵LU分解及求逆算法的研究与实现

发布时间：2017-11-03 13:31

  本文关键词：基于Spark平台的大矩阵LU分解及求逆算法的研究与实现

  更多相关文章： 并行计算 LU分解 矩阵求逆 Spark MapReduce

【摘要】：在很多计算机科学的研究领域中,矩阵求逆运算都是基本模块,在机器学习、图像处理等领域有着广泛的应用。随着计算机科学的不断发展,在当今这个信息爆炸的时代,计算机处理的数据量变得越来越大。因此,矩阵求逆算法的并行化逐渐成为了矩阵操作领域的热门研究方向。随着Spark框架的逐渐成熟,基于Spark平台的机器学习算法也逐渐成为时下的研究热门。当前矩阵求逆的并行算法主要通过以下几种方式来进行：LU分解、SVD分解、QR分解。因为LU分解法在并行化方面相较于SVD分解法以及QR分解法有着一定的优势,所以本文选用LU分解法来求解矩阵的逆矩阵。通过分析Spark平台的计算特点以及LU算法的特性,本文提出了一种基于Spark的并行LU分解及求逆方法。该方法主要包括以下两个步骤：首先,提出了一种基于Spark平台的大矩阵LU分解算法来求解原始矩阵的LU分解。该算法基于并行的LU分解算法将矩阵分解为可以适配到内存中的小块迭代地进行计算,再将结果进行整合来求解矩阵的LU分解。然后根据分解得到的下三角矩阵以及上三角矩阵,运用矩阵的分块原理,提出了一种迭代式三角矩阵求逆算法,将两个三角矩阵求逆并相乘来求解原始矩阵的逆矩阵。在算法的实现过程中,结合Spark框架的优缺点,提出了三点优化算法效率的方案,包括：(1)将算法中频繁用到的中间结果缓存到内存中,(2)调优shuffle过程执行效率以及(3)采用非递归方式实现算法。本文提出的基于Spark平台的大矩阵LU分解及求逆算法可以为其他的基于Spark平台的矩阵操作研究者提供一个参考。通过单机可扩展性实验以及集群可扩展性实验,表明本算法具有很好的可扩展性。通过与现有算法进行的对比实验,该算法相较于基于Hadoop框架的矩阵求逆算法性能有了24.6%的提升。
【学位授予单位】：北京交通大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：O151.21;TP301.6

【相似文献】

中国期刊全文数据库 前10条

1 李玉梅;矩阵分块的几个重要应用[J];怀化师专学报;2000年02期

2 侯秋果;;矩阵分块的应用[J];科技信息(科学教研);2008年13期

3 纪坤;陈建平;石振国;刘维富;;矩阵三角分解分块算法的研究与实现[J];计算机应用与软件;2010年09期

4 长日;矩阵分块法的应用[J];福清师专学报;1981年00期

5 陆余楚,朱文兴;矩阵的分块、零化与摄动[J];工科数学;1986年03期

6 黄廷祝,游兆永;矩阵的G-分块对角占优性[J];工程数学学报;1993年03期

7 徐道义;;区间矩阵的稳定性[J];自然杂志;1988年05期

8 金基平;电场问题优化的矩阵分块解法[J];高压电器;1991年05期

9 李源;黄辉;郝小枝;;计算矩阵高次方幂的几种方法[J];云南大学学报(自然科学版);2008年S2期

10 J.E.克雷尔伯特;;地球物理资料处理基础[J];石油地球物理勘探;1978年05期

中国重要会议论文全文数据库 前2条

1 支希哲;孟光;顾致平;;稳定性判定阵的分块确定法[A];1995中国控制与决策学术年会论文集[C];1995年

2 吴柏生;李正光;;结构布局修改的重分析方法[A];第九届全国结构工程学术会议论文集第Ⅱ卷[C];2000年

中国博士学位论文全文数据库 前3条

1 黄泽军;关于矩阵组合分析性质的若干结果[D];华东师范大学;2011年

2 沈长鹏;订单结构与拣选系统的适配问题研究[D];山东大学;2011年

3 申淑谦;特殊矩阵数值分析和鞍点问题迭代求解预处理技术[D];电子科技大学;2008年

中国硕士学位论文全文数据库 前10条

1 赵祥宇;基于Spark平台的大矩阵LU分解及求逆算法的研究与实现[D];北京交通大学;2016年

2 刘真;基于用户评分矩阵分块的鲁棒推荐模型研究[D];燕山大学;2013年

3 黄荣;几类分块组合选取因子法的非奇H-矩阵判定[D];湘潭大学;2005年

4 符和满;符号空间一类稠密混沌系统的矩阵刻画[D];华南师范大学;2005年

5 楼Z蟍;M-矩阵等特殊矩阵及其特殊积[D];陕西师范大学;2004年

6 曾侃圢;基于电阻矩阵定位原理的溃坝模型试验测量技术研究[D];重庆交通大学;2015年

7 杜翠真;五阶完全正矩阵[D];安徽大学;2005年

8 陈一昭;并行计算在矩阵运算中的应用[D];昆明理工大学;2011年

9 陈磊;面向多核DSP的高性能并行BLAS3的设计与实现[D];国防科学技术大学;2013年

10 张晓青;关于SDD～+矩阵和H-矩阵算法的研究[D];电子科技大学;2006年

，

本文编号：1136416