分布式图计算引擎设计与实现

发布时间：2021-08-19 07:57

　　互联网技术的应用导致了数据爆炸式地增长,而海量数据的分析和处理一直是业界挖掘数据中蕴含价值的着力点。图模型作为现实世界中对象及其关联关系的抽象,较之于传统关系模型可以更有力地表达数据的属性和数据间的依赖关系。分布式数据处理系统比如Spark、MapReduce主要作用于传统数据分析,且以批处理计算为主,无法很好地适应图数据的迭代式计算过程。而基于图的分布式处理系统着眼于图数据模型,一般按图顶点以GAS（Gather-Apply-Scatter）或者超步进行迭代式计算,从而实现大规模图数据的分布式实时分析和处理。本文设计并实现了一个图数据的分布式图计算引擎,该引擎借鉴了 Pregel和PowerGraph等典型图计算系统的设计方案,着重讨论了数据组织和迭代方式对系统性能的影响,主要工作如下:（1）设计并实现了分布式图计算引擎的内存图元数据及数据管理结构。以现有的图分片算法为基础,设计并实现了以边为加载粒度的基于贪婪策略的平衡点切割策略,将图数据分布式地从图存储引擎加载到图计算引擎内存中;设计并实现基于内存的顶点主备存储结构,并提供在迭代式计算过程中对顶点数据、及其备份数据和邻接点、边数据... 

【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校

【文章页数】：93 页

【学位级别】：硕士

【部分图文】：

切割例图

二ㄐ典型与基7个接亦，么切割会导亦产冗余副个，接亦冗余副共个，冗余副共个，总3个冗余副，因可以出切割冗余存储与数成性关。图2-1切割例图从信开度分，于切割会导一对亦切割到不同存储实例上，因原基于内存信会变为基于TCP信；又于图场，亦之息信是中大分操作，因切割使会导在对实中幂律图图时产大冗余信开[19]。同时切割会导亦和产备份，主从备份之同开也会之增大。因在实场中处大合幂律分布图数据时，尽切割可以分摊时存储，但于其为冗余存储开和差性往往不会使切割作为图场下数据切分。2.1.2传统点切割算法图2-2传切割实例图

切割互斥图

【参考文献】：
期刊论文
[1]Storm集群下一种基于Topology的任务调度策略[J]. 蒋溢,罗宇豪,朱恒伟.  计算机工程与应用. 2018(07)
[2]一种改进的基于BSP的大图计算模型[J]. 赵翔,李博,商海川,肖卫东.  计算机学报. 2017(01)
[3]一个基于Redis架构的分布式图计算系统设计[J]. 刘庆典,李川.  现代计算机(专业版). 2016(04)
[4]基于虚节点的一致性哈希算法的优化[J]. 巴子言,吴军,马严.  软件. 2014(12)
[5]一致性哈希算法在分布式系统中的应用[J]. 姚墨涵,谢红薇.  电脑开发与应用. 2012(07)
[6]基于动态反馈的一致性哈希负载均衡算法[J]. 胡丽聪,徐雅静,徐惠民.  微电子学与计算机. 2012(01)
[7]关于Hash函数MD5的解析[J]. 毛明,陈少晖,袁征,贾永兴.  计算机科学. 2009(11)
[8]基于指令Cache作废的多核处理器同步技术[J]. 郭建军,戴葵,王志英.  计算机工程与应用. 2009(04)
[9]幂律分布研究简史[J]. 胡海波,王林.  物理. 2005(12)



本文编号：3351029