增强的云化并行计算框架系统的设计与实现

发布时间：2020-03-26 05:29

【摘要】：近年来,“云计算(Cloud Computing)"这一概念持续升温,获得了产业界、学术界、政府等各界的强烈关注,是当前信息技术领域的热门话题之一。云计算是一种新型的网络计算模式,也是一种按使用量付费的模式,它以互联网为中心,共享可配置的计算资源(资源包括硬件资源与软件资源,硬件资源如：网络、服务器、存储；软件资源如应用软件、服务等),且消耗很少的管理成本,向用户提供安全、便捷、快速的计算和存储服务。云计算是一个概念或模型,支撑这个概念或模型的技术其实很多都被我们熟知,如并行计算(Parallel Computing)、分布式计算(Distributed Computing)、网格计算(Grid Computing)、效用计算(Utility Computing)、网络存储(Network Storage Technologies)、虚拟化(Virtualization)、负载均衡(Load Balance)等。其中,并行计算作为云计算的发展基础,在云计算不断升温的今天,对云化的并行计算的研究就显得更有意义。并行计算(Parallel Computing)为解决大型且复杂的计算问题提供了这样一条思路,即同时使用多种计算资源,以达到快速计算的目的。其诞生以来,解决方案大多停留在硬件层面,直到Google提出了MapReduce这一并行编程思想,并行计算才被广泛地应用于商业场景。Hadoop作为MapReduce的开源实现,被成功地应用于日志分析、并行计算、ETL、机器学习等不同的场景。然而,从接触Hadoop到熟练使用,用户需要深入了解Hadoop的集群配置方式、编程API、Hadoop任务运行方式等。这无疑抬高了MapReduce的使用门槛。本文提出一种增强的云化并行计算框架系统,其研究目的在于将MapReduce的并行计算能力作为一种服务提供给用户。该系统可应用于目前主流的云环境中,它充分利用云计算的高扩展、高可靠、通用性等,根据用户对集群规模的需求,灵活地配置建立一个MapReduce集群；为了使开发人员快速进行MapReduce程序的开发,增强的云化并行计算框架系统提供一套标记性语言,利用这套语言,用户不用在业务逻辑与Hadoop API之间,书写大量代码,而是使用标记性语言在程序中标示关键数据结构与计算过程,再由系统进行解析、替换、重编译。这样一来,减少了用户的学习成本,简化了开发流程。最后,该系统简化了运行MapReduce Job需要的打包,上传,运行这一系列操作,用户只需通过简单地服务调用,便可以完成MapReduce Job的运行,达到云服务快捷、高效、灵活的目的。论文首先介绍云计算、并行计算的概念和相关背景,以及增强的云化并行计算框架系统提出的背景与意义；再对增强的云化并行计算框架系统中使用到的相关技术进行了较详细的介绍；接着,针对几个关键技术场景,通过比较给出解决方案；解决了关键技术问题之后,本文基于实验室已有的IaaS平台提出了层次分明的系统架构设计图,详细介绍了系统中各功能模块的交互以及消息数据处理流程,着重阐述了各功能模块的实现。本文最后对增强的云化并行计算框架系统的功能测试与性能数据分析进行了介绍,指出了设计与实现工作中,需要进一步研究与完善的地方。
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2013
【分类号】：TP338.6

【相似文献】