云平台下Spark PaaS平台的设计与实现

发布时间：2024-05-25 03:30

　　随着云计算的快速发展,计算机硬件和软件性能的提升以及技术的革新,近年来PaaS平台迎来了蓬勃发展。各种主流的开发框架和计算框架开始向云上迁移,提高了开发人员的工作效率。目前,PaaS平台提供的主要是基于单节点的框架或服务,比如程序开发软件、数据分析工具等。对于分布式框架,由于在云上集群化部署和管理存在一定的难度,目前在PaaS平台上的应用并不多。Spark分布式计算框架,作为目前最流行的大数据处理框架之一,开发人员对其需求也越来越大。由于人工部署一套Spark集群需要整合大量的计算资源,花费大量时间,集群资源的后续管理也存在诸多问题。因此,本文针对Spark集群服务,基于ansible自动化部署和管理工具,构建了一个具有集群自动化部署和管理功能的Spark PaaS平台,方便用户上传数据、提交并运行Spark任务。本文首先对相关技术进行分析,确定了构建Spark PaaS平台的可行性。接着对一些主流的自动化部署工具进行了研究分析,为ansible工具的选择提供理论依据。再结合实际的需求,提出了本平台的系统架构,将其划分为多个功能层。在此基础上,设计了通信模块、数据库模块、基础功能模块、...

【文章页数】：92 页

【学位级别】：硕士

【部分图文】：

图2-1云计算服务模式

第二章相关理论和技术基础5第二章相关理论和技术基础2.1云计算概述2.1.1云计算服务“云计算”的概念在2006年的搜索引擎大会上由google公司首次提出。它的产生和并行计算、分布式计算等技术密切相关。正是在这些技术的驱动下，云计算经过这些年的成长和发展，已经由概念转化成实际的....

图2-2KVM架构

电子科技大学硕士学位论文63.软件即服务（SaaS）处于三层架构的最上层，与PaaS平台有很大不同，PaaS平台主要面向有软件开发或操作系统熟练使用基础的人员，而SaaS主要面向大众，提供应用软件层面的服务[12]。用户可以根据自身需求，通过某种设备，利用某种远程协议，定制并使用....

图2-3Puppet架构

第二章相关理论和技术基础7上图中，KVM模块作为KVM架构的核心部分，运行在内核空间，仅用于硬件虚拟化。它的主要功能是初始化cpu硬件，打开虚拟化模式，将虚拟机运行在该模式下，最后创建特殊设备文件/dev/kvm等待用户空间的命令。QEMU是一个开源的虚拟机纯软件，在用户空间运行....

图2-4Saltstack架构

电子科技大学硕士学位论文8Puppet基于C/S的部署架构，需要在服务端（Puppetserver）安装puppet-server软件，在客户端（Puppetagent）安装客户端软件，实现了数据中心自动化协调配置和管理。客户端默认配置下每隔半小时和服务端通信一次，确认是否配置信....

本文编号：3981642