基于Spark的ISOMAP算法并行化

发布时间：2017-08-30 00:18

  本文关键词：基于Spark的ISOMAP算法并行化

  更多相关文章： ISOMAP Spark 精确欧式位置敏感哈希 流形学习 大数据

【摘要】：为了实现大数据环境下非线性高维数据的快速降维,提出了一种基于Spark的并行ISOMAP算法.在该算法中,为了快速构建邻域矩阵,设计并实现了基于精确欧式位置敏感哈希的近邻搜索并行算法;为了实现特征值的快速求解,设计并实现了基于幂法和降阶法交替执行的特征值求解并行算法.为了进一步提高算法的性能,基于Spark的特性,利用Spark的稀疏向量、广播机制和缓存机制对并行ISOMAP算法进行了优化,减少了计算过程中的内存消耗和数据传输.在Swissroll数据集和S-curve数据集上的实验结果表明,基于Spark的并行ISOMAP算法通过并行执行和计算过程的优化,极大地提高了算法的执行效率,能够适用于大规模数据集的降维处理.
【作者单位】： 河北工业大学计算机科学与软件学院;河北省大数据计算重点实验室;
【关键词】： ISOMAP Spark 精确欧式位置敏感哈希 流形学习 大数据
【基金】：天津市应用基础与前沿技术研究计划重点项目(14JCZDJC31600) 河北省自然科学基金(F2013202104)资助
【分类号】：TP301.6
【正文快照】： Parallel ISOMAP algorithm based on SparkSHI Lukui 1,2,YUAN Bin1,LIU Wenhao1(1.School of Computer Science and Engineering,Hebei University of Technology,Tianjin300401,China;2.Hebei Province Bigdata Computation Key Library,Tianjin300401,China)0引言等距特征

【相似文献】

中国期刊全文数据库 前10条

1 杨海红;;流形学习中邻域大小的选择算法[J];山西煤炭管理干部学院学报;2011年01期

2 周华;蔡超;丁明跃;;基于流形学习和流形高阶近似的图像距离度量[J];华中科技大学学报(自然科学版);2012年03期

3 孟德宇;徐宗本;戴明伟;;一种新的有监督流形学习方法[J];计算机研究与发展;2007年12期

4 黄鸿;李见为;冯海亮;;融合局部和全局结构的流形学习[J];光学精密工程;2009年03期

5 李小丽;薛清福;;几种流形学习算法的比较研究[J];电脑与信息技术;2009年03期

6 邵超;张斌;万春红;;流形学习中邻域大小参数的合适性判定[J];计算机工程与应用;2010年20期

7 贺广南;杨育彬;;基于流形学习的图像检索算法研究[J];山东大学学报(工学版);2010年05期

8 刘志勇;王珏;;流形学习方法及其在头部姿势估计中的应用[J];贵州大学学报(自然科学版);2010年04期

9 金波;;基于年龄流形的人脸图像年龄识别[J];中国新技术新产品;2011年01期

10 高峥;杜川;;基于流形学习算法的人脸识别研究[J];河南机电高等专科学校学报;2011年04期

中国重要会议论文全文数据库 前3条

1 宋欣;王娟;张斌;叶世伟;;流形学习算法分析及在人脸数据库上的应用[A];2008年全国开放式分布与并行计算机学术会议论文集(上册)[C];2008年

2 刘晓平;季浩;邓伟财;;基于流形学习的非线性系统可视化算法[A];全国第21届计算机技术与应用学术会议（CACIS·2010）暨全国第2届安全关键技术与应用学术会议论文集[C];2010年

3 何慧;陈博;郭军;;基于流形学习的半监督文本情感分类算法[A];第五届全国信息检索学术会议论文集[C];2009年

中国博士学位论文全文数据库 前10条

1 邢向磊;流形学习与稀疏表示在模式识别中的应用[D];南京大学;2013年

2 黄鸿;图嵌入框架下流形学习理论及应用研究[D];重庆大学;2008年

3 尹峻松;流形学习理论与方法研究及在人脸识别中的应用[D];国防科学技术大学;2007年

4 黄启宏;流形学习方法理论研究及图像中应用[D];电子科技大学;2007年

5 冯海亮;流形学习算法在人脸识别中的应用研究[D];重庆大学;2008年

6 曾宪华;流形学习的谱方法相关问题研究[D];北京交通大学;2009年

7 詹宇斌;流形学习理论与方法及其应用研究[D];国防科学技术大学;2011年

8 王勇;基于流形学习的分类与聚类方法及其应用研究[D];国防科学技术大学;2011年

9 谷瑞军;基于流形学习的高维空间分类器研究[D];江南大学;2008年

10 孟德宇;关于流形学习若干基础问题与核心算法研究[D];西安交通大学;2008年

中国硕士学位论文全文数据库 前10条

1 金伟;监督型流形学习在模式识别中的研究[D];中国计量学院;2015年

2 郝勇智;基于流形学习的半监督分类方法及其应用[D];中北大学;2016年

3 刘学;基于流形学习的时间序列聚类研究[D];河北经贸大学;2016年

4 刘亦哲;基于流形学习及其改进方法的人脸识别研究[D];重庆大学;2015年

5 毛洪贲;流形学习研究及其在人脸识别中的应用[D];南京林业大学;2009年

6 张银凤;流形学习算法的研究[D];陕西师范大学;2010年

7 李维清;基于流形学习和张量的多姿态人脸识别研究[D];华侨大学;2011年

8 胡三和;鲁棒流形学习算法研究[D];西安电子科技大学;2011年

9 梁宇滔;流形学习中样本点稀疏问题的研究[D];中山大学;2011年

10 丁正明;流形学习方法在视频人脸识别中的应用基础研究[D];电子科技大学;2013年

，

本文编号：756225