地理分布式的性能和费用优化图处理方法研究

发布时间：2021-02-04 00:55

　　随着虚拟化技术的快速发展,基于虚拟化技术的云计算平台的构建现在越来越完善。越来越多的人使用云平台完成任务部署。由于用户的全球化,区域化趋势变得更加突出,近年来基础设施提供商倾向于在多个国家和地区部署数据中心。图处理是一种适用于各种应用的新兴计算模型,图分割对于优化图处理作业的费用成本和性能非常重要。随着移动互联网和社交网站的兴起,许多服务提供商改变了服务器自给自足的运营模式,通过租用分布在多个地区的基础设施供应商的数据中心虚拟机,并将许多图应用程序（如社交网络）的数据存储在地理分布式数据中心上,以便在全球范围内为用户提供低延迟、高质量的服务。由于图的流量异构性和地理分布式数据中心的多级网络异构性,对现有的图分割方法提出了新的挑战。本文中,我们首先在当下使用广泛的Microsoft Azure云平台的四个不同的数据中心租用使用较广泛的四种类型实例,对每类实例进行连续一周的测试,研究云平台的网络带宽特性以及网络价格特点,以及对Amazon EC2云平台进行相应测试。其次,我们根据GAS图处理模型建立了地理分布式平台下图应用的数据输出时间和费用模型,在此基础上,我们提出了一种具有地理感知的图... 

【文章来源】：深圳大学广东省

【文章页数】：66 页

【学位级别】：硕士

【部分图文】：

云环境下的三种角色[1]

目前，大多数云服务商都提供地理分布式云服务来应对大数据应用的需求。例如，三大公有云服务商AmazonEC2、MicrosoftAzure和GoogleComputeEngine（GCE）目前分别拥有16个，54个和11个分布在世界各地的数据中心。图1.2是MicrosoftAzure在全球区域的数据中心位置1。MicrosoftAzure提供使应用程序更贴近全球用户所需的规模、保持数据驻留、为客户提供全面的符合性和恢复能力选项，已经在全球54个区域，140个国家或地区建立数据中心。因此，通过租用云平台数据中心搭建集群进行大数据处理应用的并行计算成了很多用户的选择。图1.2MicrosoftAzure云平台1为了解决图处理过程中并行计算的负载平衡问题，图分割成了研究热点。国内外学者已经提出许多优化的图分割算法和模型。针对图分割，已经有多层算法、组合方法、几何方法、普算法、以及各种局部优化算法等[3]。虽然目前的图分割算法通过平衡多个处理的计算负载，缩短处理器的空闲等待时间以提高并行效率，但是在云环境下的大数据图处理性能依然较低，主要忽视了以下两个方面。首先，服从幂律分布的图在现实世界中非常普遍。尤其是数据量增长幅度较大的社交网络，其中顶点流量呈现异构性，极少的点产生了较多的数据流量。并且由于云1https://azure.microsoft.com

Twitter图分布[26]


本文编号：3017443