高可用云服务的研究与实现

发布时间：2020-08-03 13:57

【摘要】：随着云计算的快速落地与崛起,互联网IT行业随之高速发展,越来越多的传统企事业单位的IT服务正在朝着更加智能便捷和高效的方向发展。云计算的思想也影响着越来越多的研发人员。其核心是将一切计算业务放在云端,在充分利用空闲物理硬件资源的同时可以满足更多的业务需求,完成资源的统一管理和数据集中放置,弥补了传统IT行业中资源分散浪费、疏于管理的难处。云计算的一大核心技术就是将一切硬件资源虚拟化,因此虚拟化技术是目前各大技术厂商争相研究的问题。从底层虚拟化的实现如KVM、Xen、HyperV等技术到虚拟化管理平台如OpenStack、CloudStack等,正在逐渐的丰富虚拟化这一领域,可以说硬件资源虚拟化技术在云计算中扮演尤为重要的角色。本文研究背景为实验室使用的虚拟化平台,对其现有功能进行分析,发现其存在诸多亟待解决的问题,如无法避免的单机故障、缺乏镜像管理与负载监测机制以及备份方案。在此前提下本人深入学习并研究了KVM虚拟化技术,开源Ceph存储系统以及目前热门的OpenStack平台,在详细了解了其涉及的核心理念与设计思想后,针对现在的虚拟化平台提出了全新的架构设计以达到平台服务的高可用。架构设计中首先将主机与虚拟机磁盘镜像分离,主机被视作计算节点组成计算集群,避免单机运作。然后通过Ceph构建分布式存储集群实现虚拟机镜像以及磁盘的共享存储和备份。同时研究了基于Ceph RBD块设备运行虚拟机的方案,以简化计算节点的工作。最后设计了集群监测模块和基于综合负载的误差修正预测算法来调度虚拟机,实现系统的负载自动平衡。经过测试,本文设计并实现的高可用虚拟化平台能够提供稳定可靠的虚拟机服务,灵活的虚拟机迁移机制和镜像存储方案保证了平台的效率与稳定性。全新架构下的虚拟化平台分为存储集群、计算集群、管理中心以及监测四大模块,降低了系统耦合性,利于平台扩展和后续研究。
【学位授予单位】：电子科技大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP393.09;TP302
【图文】：

此外会检测自身与其他 OSD 节点状态向 Monitor 汇报；Ceph 于访问集群中的存储数据。Ceph 具备完全去中心化分布式的存储结构[32]。集群 OSD 节点通过交换设备进行通信。此外集群中将在多个物理节点上设置 Ceph Monitor，组成，共同监测 OSD 集群的运行状态，根据 OSD 集群的变化调整副本数据保证数据副本可用。同时 Monitor 会处理和响应外部的请求，通过 CRUS诉客户端所请求的数据放在哪个 OSD 节点上。分布式文件系统都会面临是数据副本的一致性，Ceph Monitor 采用 Paxos 分布式一致性算法[33]来保据副本的一致性，Paxos 算法每次只会产生一个决策，在生产环境下一般 Monitor 数据一致性的同时也可以避免存储集群的单点故障问题[34]。.2 Ceph 数据寻址方式Ceph 集群通过 CRUSH（Controlled Replication Under Scalable HashiUSH）算法[35]计算数据位置，数据寻址过程如图 2-7 所示，每个 OSD 以及可通过 CRUSH 算法计算数据的位置。

操作系统 硬件信息 数量 用途说明CentOS Linuxrelease 7.6CPU：Intel Xeon(R) E5 2.20GHz*4内存：Samsung 1066Hz 16GB*6硬盘：480GB*1, 4TB*23三台服务器均作为 OSD 节点和 Monitor 节点，Monitor 之一作为 Admin 节点CentOS Linuxrelease 7.6CPU：Intel Xeon(R) E5 2.20GHz*4内存：Samsung 1066Hz 16GB*6硬盘：480GB*1, 4TB * 14四台服务器均作为计算节点，其中一台部署虚拟化管理系统5.2 平台功能测试5.2.1 功能测试(1) 计算节点管理展示管理员登录系统后首先可以看到当前计算集群下得所有计算节点的基本信息，页面展示效果如下如图 5-2 所示。

图 5-3 创建存储池操作(3) 卷设备管理点击存储池名称可以查看在当前存储池下的所有块设备信息，列表中的Watcher 列代表了当前块设备是否正在被使用。通过右上角下拉框可以切换存储池可查看对应存储池的块设备，块设备的名称统一由 rbd 开头，用户不能独立创建块设备，只能通过创建虚拟机或磁盘的方式创建块设备，因此此处的块设备列表仅作展示使用。详情如图 5-4 所示。

【相似文献】

相关期刊论文 前10条

1 陈佳昕;;虚拟机隐藏进程检测系统设计与实现[J];现代计算机(专业版);2019年01期

2 尹学渊;陈兴蜀;陶术松;陈林;;一种无代理虚拟机进程监控方法[J];南京大学学报(自然科学);2019年02期

3 郭建伟;;灵活管理虚拟机[J];网络安全和信息化;2019年05期

4 关长杰;;巧用虚拟机维护多媒体教室计算机之我见[J];信息记录材料;2019年04期

5 王瑞宗;;浅析云计算虚拟机部署方案[J];电子世界;2019年15期

6 甘娜;;一种基于服务次数的云虚拟机资源部署算法[J];中国新通信;2017年23期

7 石岳;王春海;;快速克隆千台虚拟机[J];网络安全和信息化;2017年06期

8 顾武雄;;创建虚拟机与远程管理[J];网络安全和信息化;2017年05期

9 顾武雄;;虚拟机复制管理[J];网络安全和信息化;2018年06期

10 赵艳;王春海;;虚拟机“句柄无效”无法开机[J];网络安全和信息化;2018年09期

相关会议论文 前10条

1 陆彦琦;伍华凤;高毅;;云计算环境下虚拟机安全性分析与研究[A];中国造船工程学会电子技术学术委员会2017年装备技术发展论坛论文集[C];2017年

2 段翼真;王晓程;;可信安全虚拟机平台的研究[A];第26次全国计算机安全学术交流会论文集[C];2011年

3 沈敏虎;查德平;刘百祥;赵泽宇;;虚拟机网络部署与管理研究[A];中国高等教育学会教育信息化分会第十次学术年会论文集[C];2010年

4 陈援非;朱珍民;叶剑;;一种基于多量级虚拟机的可扩展普适计算架构[A];第四届和谐人机环境联合学术会议论文集[C];2008年

5 张健;高铖;宫良一;顾兆军;;虚拟机自省技术研究[A];第32次全国计算机安全学术交流会论文集[C];2017年

6 邓小林;;虚拟机系统资源动态分配策略[A];浙江省信号处理学会2013学术年会论文集——信号处理在海洋[C];2013年

7 丁涛;郝沁汾;张冰;;内核虚拟机调度策略的研究与分析[A];'2010系统仿真技术及其应用学术会议论文集[C];2010年

8 管庆华;叶力旋;刘凯;明月;;一种基于资源池分布式部署虚拟机的方法[A];2010电力行业信息化年会优秀论文专辑[C];2010年

9 ;瑞星研制出全球最快反病毒虚拟机[A];2010电力行业信息化年会优秀论文专辑[C];2010年

10 陈乃刚;李健;李龙;;云计算数据中心的网络带宽保证方案[A];2016电力行业信息化年会论文集[C];2016年

相关重要报纸文章 前10条

1 本报记者 冯霄霞;容器引领云计算2.0时代[N];中国信息化周报;2016年

2 南方日报驻京记者 王腾腾;网络空间安全攻防战[N];南方日报;2017年

3 冯志鹏 黄文雯 胡宇;引领架构提升 打造“云”上服务[N];国家电网报;2017年

4 刘荻 编译;虚拟机真比容器安全吗？[N];中国计算机报;2017年

5 邹铮 编译;云计算充满“僵尸”虚拟机?没什么大不了![N];网络世界;2015年

6 ;首批通过云计算产品虚拟机管理测评名单[N];中国电子报;2014年

7 本报记者 邱燕娜;如何告别虚拟机管理烦恼[N];中国计算机报;2012年

8 本报记者 李旭阳;Azul“抢滩”国内Java虚拟机市场[N];计算机世界;2012年

9 《网络世界》记者 周源;3:0!Power虚拟机完胜x86虚拟机[N];网络世界;2012年

10 本报记者 邹大斌;VMware推出新虚拟机管理工具[N];计算机世界;2011年

相关博士学位论文 前10条

1 张涵翠;云平台中面向虚拟机的自适应异常检测关键技术研究[D];重庆大学;2018年

2 魏亮;面向云网融合的资源调度算法及实验平台研究[D];北京邮电大学;2018年

3 张鑫彦;数据中心虚拟机放置方法的研究[D];大连理工大学;2018年

4 张留美;面向绿色云计算的虚拟机评估研究[D];西安电子科技大学;2016年

5 徐骁麟;面向多虚拟机应用的基础设施云服务性能优化机制研究[D];华中科技大学;2016年

6 丁有伟;云环境下能量高效的任务调度方法研究与应用[D];南京航空航天大学;2016年

7 胡荣东;面向能效的云计算虚拟化资源提供方法研究[D];国防科学技术大学;2015年

8 叶枫;QoS-Aware的云服务可信增强机制的研究[D];南京航空航天大学;2016年

9 郭芬;面向虚拟机的云平台资源部署与调度研究[D];华南理工大学;2015年

10 刘海坤;虚拟机在线迁移性能优化关键技术研究[D];华中科技大学;2012年

相关硕士学位论文 前10条

1 刘康;面向云服务的虚拟机资源调度方法研究[D];河南科技大学;2019年

2 殷宏亮;基于电信行业云虚拟机内存扩展研究[D];吉林大学;2019年

3 王利;云计算中一种基于服务相关性的虚拟机迁移技术研究[D];江苏大学;2019年

4 乔淑敏;基于资源需求特征的应用分类及虚拟机放置策略[D];云南大学;2018年

5 梅东晖;云数据中心虚拟机负载均衡部署问题研究[D];云南大学;2018年

6 刘静;基于FORTH虚拟机的操作系统多任务动态管理研究[D];云南大学;2018年

7 王蕾;基于FORTH虚拟机的实时多任务调度研究[D];云南大学;2018年

8 卢魏旭;高可用云服务的研究与实现[D];电子科技大学;2019年

9 胡南;一种基于虚拟服务器的小区云网络设计与实现[D];电子科技大学;2019年

10 黄科;基于微服务的虚拟机自动化编排系统的设计与实现[D];电子科技大学;2019年

本文编号：2779728