基于Spark的大规模图数据并行计算研究

发布时间：2017-07-07 02:00

  本文关键词：基于Spark的大规模图数据并行计算研究

  更多相关文章： 大规模图数据 并行计算 Spark Pregel

【摘要】：随着社交网络的兴起,大规模图数据处理技术成为研究的热点,从海量的社交数据中分析数据的关系具有巨大的商业价值。Spark利用其内存计算模型和适合迭代运算的优势,为大规模图数据并行运算提供Graphx框架。以经典的Page Rank算法为例,分析Graphx框架下的Pregel迭代计算模型,总结Pregel计算模型的优势和应用场景。
【作者单位】： 四川大学计算机学院;
【关键词】： 大规模图数据 并行计算 Spark Pregel
【分类号】：TP338.6
【正文快照】： 0引言图是一种抽象的数据结构,现实世界中的许多场景都需要用图结构表示,例如在线地图的最短路径、社交网络分析、科技文献的引文网络等。随着Web2.0技术的发展,社交网络用户数量和网页数量猛增,导致图数据规模迅速增长。云计算对于处理大规模图数据[1-2]有诸多优势,然而云计

【相似文献】

中国期刊全文数据库 前10条

1 郑敏娟;贺炎;;未来的并行计算[J];中国科技信息;2007年12期

2 陈国良;孙广中;徐云;龙柏;;并行计算的一体化研究现状与发展趋势[J];科学通报;2009年08期

3 王琳;鲁晶晶;殷克功;;关于并行计算在软件发展下的研究分析[J];科技信息;2009年14期

4 刘俊莉;王楚斌;林晓锐;司徒祝坤;;并行计算实验平台的研究与实现[J];科技信息;2009年22期

5 潘沙;范晓樯;李晓宇;丁国昊;冯定华;李桦;;并行计算在高超声速流场数值模拟中的应用[J];计算机工程与科学;2009年S1期

6 逄华;王龙;王剑辉;;一种基于移动Agent的分布式并行计算模型[J];计算机技术与发展;2011年02期

7 程建钢，李明瑞，黄文彬;有限元分析的并行计算方法[J];力学与实践;1995年04期

8 林彬;;并行计算的基本问题及现状分析[J];中国管理信息化;2014年16期

9 林新华;王左利;林新华;;困扰并行计算的三大问题[J];中国教育网络;2008年11期

10 ;光计算[J];中国光学与应用光学文摘;2001年04期

中国重要会议论文全文数据库 前10条

1 黄宇光;;整体同步并行计算方法的现状与发展[A];信息科学与微电子技术:中国科协第三届青年学术年会论文集[C];1998年

2 左风丽;莫则尧;叶文华;;计算流体三维分裂格式的高效并行计算[A];中国工程物理研究院科技年报（2003）[C];2003年

3 罗文彩;陈小前;;并行计算的多方法优化协作[A];第二十四届中国控制会议论文集（上册）[C];2005年

4 王欣;李志山;张志远;;并行计算在弹塑性时程分析中的应用[A];信息化推动工程建设工业化——第四届工程建设计算机应用创新论坛论文集[C];2013年

5 张理涛;黄廷祝;谷同祥;左宪禹;;一种适合于分布式并行计算改进的平方共轭残差法[A];2008年全国开放式分布与并行计算机学术会议论文集(下册)[C];2008年

6 胡金初;;并行计算中的任务分配算法[A];2005年全国理论计算机科学学术年会论文集[C];2005年

7 宋庭新;李慧;;面向服务的有限元并行计算网格系统设计[A];湖北省机械工程学会设计与传动学会、武汉机械设计与传动学会2008年学术年会论文集（2）[C];2008年

8 裘懿勇;徐斌;刘晓明;;并行计算作业调度系统的架构及应用[A];第十四届中国科协年会第5分会场：绿色船舶与海洋装备创新发展及产业化论坛论文集[C];2012年

9 裘懿勇;徐斌;刘晓明;;并行计算作业调度系统的架构及应用[A];2012年MIS/S&A学术交流会议论文集[C];2012年

10 肖保国;杨顺华;邢建文;赵慧勇;;当地自适应建表方法在煤油超燃发动机并行计算中的应用[A];第十四届全国激波与激波管学术会议论文集（下册）[C];2010年

中国重要报纸全文数据库 前10条

1 曙光信息产业有限公司研发中心 温鑫;并行计算任重道远[N];中国计算机报;2007年

2 轶嘉;英特尔全球首个并行计算中心落户无锡[N];人民邮电;2009年

3 英特尔并行计算实验室研究员 TimothyMattson;并行计算:减少串行软件[N];中国计算机报;2007年

4 曙光信息产业有限公司研发中心 温鑫;并行计算软件开发概述[N];中国计算机报;2007年

5 刘霞;计算能力的提升需要一场革命[N];科技日报;2010年

6 安世亚太 雷先华;ANSYS高性能并行计算[N];中国航空报;2005年

7 张云泉;并行计算：迎接多核时代的挑战[N];计算机世界;2006年

8 本报记者 马文方;英特尔为何要牵头并行计算[N];中国计算机报;2009年

9 英特尔 赵军(Jun Zhao);PC机并行计算革命尚未成功[N];中国计算机报;2009年

10 ;Linux下的网络并行计算[N];计算机世界;2000年

中国硕士学位论文全文数据库 前10条

1 顾慧;基于异构平台的并行计算性能可视化研究[D];辽宁师范大学;2010年

2 徐晓华;光并行计算及其在图像处理和计算分子生物学中的应用[D];扬州大学;2005年

3 田甜;异构环境中并行计算模型与任务调度的研究[D];曲阜师范大学;2010年

4 刘杰;可扩展并行计算及其应用研究[D];湖南大学;2009年

5 孔令梅;三维变分同化并行计算研究及实现[D];国防科学技术大学;2005年

6 刘桂海;网格并行计算系统研究开发[D];西安理工大学;2008年

7 蔡佳佳;图像代数多核并行计算类库的构建与优化[D];厦门大学;2008年

8 陈维;有限单元并行计算方法在地震波动模拟中的应用[D];中国地震局工程力学研究所;2011年

9 陆良刚;土木工程有限元并行计算应用及其软件架构[D];中国地震局工程力学研究所;2011年

10 张立霞;电磁场有限元分析中并行计算的研究[D];河北工业大学;2006年

，

本文编号：528451