基于OpenStack的大数据PaaS服务的设计与实现
发布时间：2022-01-09 09:09
随着互联网应用的快速增长,出现了大量的数据整合和聚集现象使得数据处理应用的需求量呈爆发式膨胀,加快了“大数据时代”的到来。伴随着数据种类的丰富多样和数据规模的不断扩大,数据的分析和处理技术也在不断进行着改进,出现了很多的大数据处理软件。但是搭建和部署一个大数据集群对于中小企业来说在经济上和技术上都是一大笔的开销。将大数据处理软件集群部署在云平台上,从技术层面,云计算技术解决了上层应用和底层的计算资源松耦合;从业务层面,使用大数据处理软件进行数据处理的人员可以只关注业务的处理,大数据集群则交给第三方云提供者进行维护管理。本论文就是依据新华三云计算部门和大数据部门进行云数融合的迫切需求,设计并实现了基于OpenStack的大数据PaaS（Platform as a Service）服务模块,以PaaS服务的方式将大数据处理软件集群提供给用户。大数据平台即服务（Big Data Platform as a Service,BDPaaS）通常用于指对大型或复杂数据集（通常通过Internet）进行分析的服务,即云托管服务。作者针对大数据处理软件集群部署过程繁杂,管理困难的问题,基于OpenSt...
【文章来源】：西南交通大学四川省 211工程院校 教育部直属院校
【文章页数】：99 页
【学位级别】：硕士
【部分图文】：
OpenStack概念架构图
务提供统一界面的 Portal，为云基础设施提供面向用户的图形操作接口，为用户提供集云服务，云运营，云运维为一体的门户式站点。中间层为系统层，也是最为核心的部分，实现了对第三方软件的调用，实现了满足市场需求的功能，并提供开放、标准的协议接口，便于云管理平台与第三方管理平台对接，同时方便用户基于云操作系统进行二次开发。最底层为内核层，是各种第三方应用，为系统实现服务功能提供支撑，比如主机服务和网络存储服务需要使用 OpenStack、容器服务需要使用 Kubernetes 对容器中应用进行管理、应用服务使用 Harbor 提供镜像仓库[40]，使用 Cloudify[41]实现用的部署。整个项目为微服务的架构，通过对服务的深刻理解，将系统分为了不同的微服务，为用户提供了丰富多样的云服务目录，比如主机服务，容器服务，数据库服务，但数据服务等。这些微服务部署在 Docker 容器中，并使用 Kubernetes 进行对容器的部署和管理，实现了系统的高可用、平滑扩展和平滑升级。每个服务都可以提供开放、标准的协议接口，便于云管理平台与第三方管理平台对接，同时方便用户基于 CloudOS 进行二次开发。
中进行单独的部署、运行、维护、升级，但是在功能上在系统中看起来是完整的一个整体，实际上就是服务与服务之间的松耦合。所谓的整体，是在用户使用时所体现出来的，比如有着统一的访问入口，统一的权限管理，统一的界面风格，统一的日志方法，统一的审批流程。微服务的目的是将系统的功能进行有效的拆分，实现功能与功能之间的松耦合，实现敏捷开发[43]和部署。2.2.2.1 微服务优势现在互联网行业的应用都是庞然大物，需要不断的进行迭代开发。一体式的架构模式虽然开发起来简单直接，但是项目的管理上是集中式的，基本不会重复开发；一体式架构项目的功能都在本地，不会存在分布式的管理开销，无法满足高并发的业务需求；一体式架构项目的开发效率也很低，所有的开发都是在一个项目上进行修改，提交代码就会出现很多的代码冲突，互相等待；一体式架构项目的代码维护比较困难，稳定性不高，一个微不足道的小问题都可以导致系统的崩溃，无法使用；一体式架构项目的部署也不是很灵活，项目出了问题，不管问题的大小都要进行重新构建整个项目，对于大型项目来说构建的过程一般会花费很长一段时间。
【参考文献】：
期刊论文
[1]Docker技术在微服务中的应用[J]. 章仕锋,潘善亮. 电子技术与软件工程. 2019(04)
[2]基于Openstack Swift的高可用存储方案研究与实现[J]. 张晓莉,文成玉,原子桢. 成都信息工程大学学报. 2019(01)
[3]以KVM-QEMU与Libvirt为依托的虚拟化资源池建设探究[J]. 贺伟,李凤. 计算机产品与流通. 2018(12)
[4]SDN性能优化技术研究综述[J]. 孙涛,张俊星. 计算机科学. 2018(S2)
[5]敏捷开发在应用全生命周期管理上的最佳实践[J]. 余明俊,高澜. 中国新通信. 2018(16)
[6]SpringBoot框架在web应用开发中的探讨[J]. 吕宇琛. 科技创新导报. 2018(08)
[7]基于CAS的单点登录系统的研究与实现[J]. 赵晋,杨旭东. 软件. 2016(11)
[8]《大数据时代》[J]. 维克托·迈尔-舍恩伯格,肯尼思·库克耶,盛杨燕,周涛. 教育科学论坛. 2016(10)
[9]基于Puppet的自动化部署工具的设计与实现[J]. 李小文,刘玉龙. 软件. 2015(12)
[10]基于OpenStack和Cloudify的自伸缩云平台体系[J]. 裴超,吴颖川,刘志勤,王耀彬,杨雷. 计算机应用. 2014(06)
硕士论文
[1]分布式离线计算平台的数据可视化系统的设计与实现[D]. 王倩倩.西南交通大学 2018
[2]基于OpenStack的Cloud OS云平台对接Trove组件的研究与实现[D]. 向彬彬.杭州电子科技大学 2018
[3]基于IaaS的大数据容器集群关键技术研究[D]. 王淼鑫.北京邮电大学 2018
[4]基于Chef的自动化云环境配置系统设计与实现[D]. 任子博.中国科学院大学(中国科学院工程管理与信息技术学院) 2017
[5]面向中小软件开发商的Web应用构件共享PaaS平台设计与实现[D]. 赵楠.西南交通大学 2017
[6]基于Docker的PaaS平台的研究与应用[D]. 江萌.华北电力大学(北京) 2017
[7]基于Node.js的基础框架设计与实现[D]. 杨晓婷.北京邮电大学 2017
[8]基于SaltSatck的云数据库高可用方案的设计与实现[D]. 徐涛.南京邮电大学 2016
[9]基于OpenStack的中小企业私有云构建及高可用性研究[D]. 徐鹏.华东理工大学 2017
[10]基于OpenStack的虚拟机部署过程的研究与优化[D]. 李璘.华北电力大学(北京) 2014
本文编号：3578405
【文章来源】：西南交通大学四川省 211工程院校 教育部直属院校
【文章页数】：99 页
【学位级别】：硕士
【部分图文】：
OpenStack概念架构图
务提供统一界面的 Portal，为云基础设施提供面向用户的图形操作接口，为用户提供集云服务，云运营，云运维为一体的门户式站点。中间层为系统层，也是最为核心的部分，实现了对第三方软件的调用，实现了满足市场需求的功能，并提供开放、标准的协议接口，便于云管理平台与第三方管理平台对接，同时方便用户基于云操作系统进行二次开发。最底层为内核层，是各种第三方应用，为系统实现服务功能提供支撑，比如主机服务和网络存储服务需要使用 OpenStack、容器服务需要使用 Kubernetes 对容器中应用进行管理、应用服务使用 Harbor 提供镜像仓库[40]，使用 Cloudify[41]实现用的部署。整个项目为微服务的架构，通过对服务的深刻理解，将系统分为了不同的微服务，为用户提供了丰富多样的云服务目录，比如主机服务，容器服务，数据库服务，但数据服务等。这些微服务部署在 Docker 容器中，并使用 Kubernetes 进行对容器的部署和管理，实现了系统的高可用、平滑扩展和平滑升级。每个服务都可以提供开放、标准的协议接口，便于云管理平台与第三方管理平台对接，同时方便用户基于 CloudOS 进行二次开发。
中进行单独的部署、运行、维护、升级，但是在功能上在系统中看起来是完整的一个整体，实际上就是服务与服务之间的松耦合。所谓的整体，是在用户使用时所体现出来的，比如有着统一的访问入口，统一的权限管理，统一的界面风格，统一的日志方法，统一的审批流程。微服务的目的是将系统的功能进行有效的拆分，实现功能与功能之间的松耦合，实现敏捷开发[43]和部署。2.2.2.1 微服务优势现在互联网行业的应用都是庞然大物，需要不断的进行迭代开发。一体式的架构模式虽然开发起来简单直接，但是项目的管理上是集中式的，基本不会重复开发；一体式架构项目的功能都在本地，不会存在分布式的管理开销，无法满足高并发的业务需求；一体式架构项目的开发效率也很低，所有的开发都是在一个项目上进行修改，提交代码就会出现很多的代码冲突，互相等待；一体式架构项目的代码维护比较困难，稳定性不高，一个微不足道的小问题都可以导致系统的崩溃，无法使用；一体式架构项目的部署也不是很灵活，项目出了问题，不管问题的大小都要进行重新构建整个项目，对于大型项目来说构建的过程一般会花费很长一段时间。
【参考文献】：
期刊论文
[1]Docker技术在微服务中的应用[J]. 章仕锋,潘善亮. 电子技术与软件工程. 2019(04)
[2]基于Openstack Swift的高可用存储方案研究与实现[J]. 张晓莉,文成玉,原子桢. 成都信息工程大学学报. 2019(01)
[3]以KVM-QEMU与Libvirt为依托的虚拟化资源池建设探究[J]. 贺伟,李凤. 计算机产品与流通. 2018(12)
[4]SDN性能优化技术研究综述[J]. 孙涛,张俊星. 计算机科学. 2018(S2)
[5]敏捷开发在应用全生命周期管理上的最佳实践[J]. 余明俊,高澜. 中国新通信. 2018(16)
[6]SpringBoot框架在web应用开发中的探讨[J]. 吕宇琛. 科技创新导报. 2018(08)
[7]基于CAS的单点登录系统的研究与实现[J]. 赵晋,杨旭东. 软件. 2016(11)
[8]《大数据时代》[J]. 维克托·迈尔-舍恩伯格,肯尼思·库克耶,盛杨燕,周涛. 教育科学论坛. 2016(10)
[9]基于Puppet的自动化部署工具的设计与实现[J]. 李小文,刘玉龙. 软件. 2015(12)
[10]基于OpenStack和Cloudify的自伸缩云平台体系[J]. 裴超,吴颖川,刘志勤,王耀彬,杨雷. 计算机应用. 2014(06)
硕士论文
[1]分布式离线计算平台的数据可视化系统的设计与实现[D]. 王倩倩.西南交通大学 2018
[2]基于OpenStack的Cloud OS云平台对接Trove组件的研究与实现[D]. 向彬彬.杭州电子科技大学 2018
[3]基于IaaS的大数据容器集群关键技术研究[D]. 王淼鑫.北京邮电大学 2018
[4]基于Chef的自动化云环境配置系统设计与实现[D]. 任子博.中国科学院大学(中国科学院工程管理与信息技术学院) 2017
[5]面向中小软件开发商的Web应用构件共享PaaS平台设计与实现[D]. 赵楠.西南交通大学 2017
[6]基于Docker的PaaS平台的研究与应用[D]. 江萌.华北电力大学(北京) 2017
[7]基于Node.js的基础框架设计与实现[D]. 杨晓婷.北京邮电大学 2017
[8]基于SaltSatck的云数据库高可用方案的设计与实现[D]. 徐涛.南京邮电大学 2016
[9]基于OpenStack的中小企业私有云构建及高可用性研究[D]. 徐鹏.华东理工大学 2017
[10]基于OpenStack的虚拟机部署过程的研究与优化[D]. 李璘.华北电力大学(北京) 2014
本文编号：3578405
本文链接：https://www.wllwen.com/guanlilunwen/ydhl/3578405.html
