面向大数据应用的云计算中心性能分析方法

发布时间：2018-05-27 09:30

本文选题：大数据 + 并行计算模型　；参考：《上海大学》2017年博士论文

【摘要】：在信息网络技术迅速发展的推动下,众多应用领域的数据已经从TB级迅速发展到PB级甚至更高的数量级,信息数量及复杂程度快速扩大。人们通过对数据的分析处理可以进一步掌握未来的发展趋势,使数据创造出更大的价值。传统的数据存储和分析处理技术已经无法满足当前的需求,云计算作为第四范式数据密集型科学下的一种大规模分布式计算模式已经得到了广泛的应用,其采用虚拟化技术整合了计算、存储和网络资源,并提供一种按需申请的资源供应方式。同时,并行计算模型为大数据应用提供了有效的并行分布式策略,屏蔽了容错、数据分布、负载均衡等复杂的细节,使应用可以更加合理的部署在云节点上。大数据、云计算和并行计算模型三者已经形成了一种相辅相成的关系。云计算中心的性能指标不仅可以指导用户平衡大数据应用的时间消耗和所需租用云资源的规模两者之间的关系,而且可以指引云商调整云资源的配置方案,使其在使用最少资源的前提下保障Qo S。因此,如何分析面向大数据应用的云计算中心性能已经成为目前一个重要课题。针对该课题的研究,本文主要贡献如下:(1)单一并行计算模型大多针对专属类型的大数据应用,因此我们将应用的多样性问题平滑的转为并行计算模型的多样性问题。同时,云计算中心为并行计算模型的实现提供了基础资源,因此我们将云资源的复杂性问题同样转化为并行计算模型实现资源的复杂性问题。最后,本文基于并行计算模型提出了一个面向大数据应用的云计算中心性能分析策略。(2)本文提出的性能分析策略主要是将并行计算模型模拟成一个排队系统,利用嵌入式马尔可夫链屏蔽了大数据应用的多样性,在统一规范下定义了性能影响因素,同时利用概率分析和统计深入分析了云计算中心资源的复杂性。另外,本文同时提出了一个对比模型,其直接将云计算中心模拟成一个排队系统,与基于并行计算模型的云中心性能分析策略进行了易用性和精准性的比较,进一步验证了本文方法的可行性。(3)在以往工作中,并行计算模型的性能模型大多用于预测应用的处理时间,而云中心的性能模型主要用于性能指标的预测。本文提出的并行计算模型排队系统及其对比模型综合考虑了上述两种因素,它们可同时预测云中心的性能指标和大数据应用时间开销。(4)在将大数据应用划分成多个并行子任务时,定义子任务的数量为一个离散随机变量,其数值是由并行计算模型决定,不受物理服务器(Physical Machine,PM)和虚拟机(Virtual Machine,VM)的数量所限制。同时,综合考虑了以下性能影响因素:同一个PM上多个VMs之间对CPU和带宽的竞争;当VM数量增加时对PM造成的性能衰减;并行子任务之间的中间数据交互。(5)基于性能分析策略提出了一个性能可预测的混合并行计算模型,其以主流的Map Reduce为基准模型,融合了BSP(Bulk Synchronous Parallel Computing)模型的迭代思想,对两个模型的基础组件进行了重构,实现了功能上的混合。另外,我们以云节点服务率为基础,通过云节点之间的计算能力比值,优化了数据副本的放置方案。同时,参考CPU的消耗额度和分配额度,实现了负载感知CPU调度方法。
[Abstract]:At the same time , the performance analysis strategy of cloud computing center provides an effective parallel distributed strategy for computing , storage and network resources . ( 4 ) When a large data application is divided into a plurality of parallel sub - tasks , the number of defined sub - tasks is a discrete random variable , the numerical value of which is determined by the parallel computing model , is not limited by the number of physical servers ( PMMs ) and virtual machines ( VM ) .
【学位授予单位】：上海大学
【学位级别】：博士
【学位授予年份】：2017
【分类号】：TP311.13

【参考文献】