PaaS云平台自动化部署和监控的设计与实现

发布时间：2017-09-09 09:31

  本文关键词：PaaS云平台自动化部署和监控的设计与实现

  更多相关文章： 云计算 PaaS 自动化 部署 监控 Cloud Foundry

【摘要】：随着多年来虚拟化技术的不断发展,云计算逐渐普及,现代1T企业的工程师们不再满足于仅通过虚拟化技术来获取具有计算能力的虚拟机节点,而开始逐步将目光投向更加理想的应用开发环境并最终实现无需运维的终极目标。Cloud Foundry就是在这样的背景下应运而生的业界第一款开源的优秀PaaS产品。本文结合当前业界分布式系统的主流技术方向以及实验室实际项目中C1oud Foundry的各项运行指标,提出Cloud Foundry平台存在的部署困难、监控不完善两大问题,并针对性地设计与实现了一套基于Cloud Foundry的快速自动化部署工具以及较为全面的云平台监控系统。这套系统实现了自动化部署不依赖于底层基础设施即服务平台、通过解析Cloud Foundry发行包的具体结构实现每个组件部署无冗余,以此达到了高效简便的部署目的。针对监控该系统提出并实现了非侵入式的涵盖虚拟机、组件、容器进程和应用日志这四个层次的监控方案,分别实现了监控虚拟机及组件资源用量、监控组件进程及应用容器状态、保证进程高可用及故障自动恢复、应用日志查询与报警、资源用量超限预警和故障自动报警以及可自定义的监控度量,这四个层面自下而上地保证了云平台及其应用的稳定可靠,有效降低了运维的难度和复杂性、节省了运维成本。本文所述的部署与监控系统不仅在本文最后的实验部分表现良好,在实际的生产环境中也经受住了检验,平台部署快速高效运行稳定,运行一年多来出现十余次故障报警均及时修复。
【关键词】：云计算 PaaS 自动化 部署 监控 Cloud Foundry
【学位授予单位】：浙江大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP277
【目录】：

• 摘要4-5
• Abstract5-11
• 第1章 绪论11-19
• 1.1 平台即服务技术背景与现状11-15
• 1.1.1 云计算的背景11-12
• 1.1.2 PaaS云平台部署与监控现状12-13
• 1.1.3 PaaS云平台现有自动化部署与监控的缺陷13-15
• 1.2 自动化部署与“四层”监控技术15-17
• 1.3 本文的研究内容17-18
• 1.4 本文的组织结构18
• 1.5 本章小结18-19
• 第2章 相关技术综述19-33
• 2.1 Cloud Foundry架构简介19-21
• 2.2 自动化部署技术综述21-25
• 2.2.1 自动化部署的模式21-22
• 2.2.2 Puppet自动化部署工具22-25
• 2.3 监控技术综述25-32
• 2.3.1 时间序列数据库25
• 2.3.2 分布式键值存储25-26
• 2.3.3 系统监控26-29
• 2.3.4 进程监控29-30
• 2.3.5 应用日志监控30-31
• 2.3.6 应用性能监控31-32
• 2.4 本章小结32-33
• 第3章 Cloud Foundry自动化部署系统设计与实现33-45
• 3.1 自动化部署架构设计33-36
• 3.1.1 自动化部署实现目标33
• 3.1.2 自动化部署服务架构33-35
• 3.1.3 自动化部署的整体流程35-36
• 3.2 自动化部署系统与BOSH部署对比36-40
• 3.2.1 相关组件与功能对比37-39
• 3.2.2 部署流程对比39-40
• 3.3 关键技术流程40-44
• 3.3.1 制作更新发行包时结构解析40-42
• 3.3.2 部署过程结构解析42-43
• 3.3.3 部署完成后的结构解析43-44
• 3.4 自动化部署系统的使用场景与价值44
• 3.5 本章小结44-45
• 第4章 自发现式虚拟机监控与心跳监测45-57
• 4.1 虚拟机层监控设计目标45-46
• 4.2 现有监控系统分析46-48
• 4.3 虚拟机层监控架构设计48-50
• 4.4 服务发现与虚拟机注册50-52
• 4.5 虚拟机层监控关键技术52-56
• 4.5.1 监控信息获取子模块52-53
• 4.5.2 基于NATS的消息转发模块53
• 4.5.3 基于etcd的心跳保持与服务发现子模块53-54
• 4.5.4 基于BOSH的health monitor监控组件改造54-55
• 4.5.5 OpenTSDB数据获取55
• 4.5.6 自定义监控数据模块55-56
• 4.6 本章小结56-57
• 第5章 组件进程监控与高可用改造57-64
• 5.1 组件进程层监控设计目标57-58
• 5.2 组件进程监控架构设计58-59
• 5.3 组件进程监控实现59-62
• 5.3.1 Monit API信息获取及执行模块59-61
• 5.3.2 基于NATS的消息转发模块61-62
• 5.3.3 监控服务端模块与报警62
• 5.4 组件进程高可用实现62-63
• 5.4.1 MySQL主从高可用改造62-63
• 5.4.2 Haproxy高可用改造63
• 5.5 本章小结63-64
• 第6章 应用容器监控与定制化应用日志监控64-69
• 6.1 应用容器与日志监控设计目标64
• 6.2 应用容器与日志监控架构设计64-65
• 6.3 应用容器与日志监控系统实现细节65-68
• 6.3.1 监控服务端本身的监控65-66
• 6.3.2 Cloud Foundry必要组件与必要资源检测66
• 6.3.3 Cloud Foundry应用容器监控66-67
• 6.3.4 Cloud Foundry应用日志监控模块67
• 6.3.5 自定义监控数据模块67-68
• 6.4 本章小结68-69
• 第7章 试验结果与分析69-78
• 7.1 自动化部署实验与分析69-73
• 7.1.1 部署环境介绍69-71
• 7.1.2 部署实验结果对比71-73
• 7.2 监控实验与分析73-77
• 7.2.1 系统资源与虚拟机监控实验73-74
• 7.2.2 组件进程监控实验74-76
• 7.2.3 应用容器监控与应用日志监控实验76-77
• 7.3 本章小结77-78
• 第8章 总结与展望78-80
• 参考文献80-82
• 作者简历82-83
• 致谢83-84
• 附录A 部署实现84-90
• A.1 部署服务器初始化84
• A.2 集群部署84-86
• A.3 组件状态获取86
• A.4 组件重启等执行命令86-87
• A.5 集群更新(扩展、缩小)87
• A.6 节点硬件资源获取87-88
• A.7 操作日志下载88
• A.8 特殊组件的安装88-89
• A.9 异常处理89-90
• 附录B Mysql高可用改造步骤90

【相似文献】

中国期刊全文数据库 前10条

1 曹晓刚;;Java虚拟机的10年[J];程序员;2005年07期

2 宋韬;盘细平;罗元柯;倪国军;;Java虚拟机在嵌入式DSP系统上的实现[J];计算机应用与软件;2007年04期

3 刘黎波;;Java虚拟机拦截原理研究[J];科技风;2008年21期

4 刘治波;;Java虚拟机简析[J];济南职业学院学报;2008年01期

5 郝帅;;Java虚拟机中相关技术的探讨[J];成功(教育);2008年08期

6 李霞;;系统虚拟机关键技术研究[J];微型电脑应用;2010年03期

7 郑晓珑;孔挺;;虚拟机的安全风险与管理[J];硅谷;2010年16期

8 李学昌;平淡;;为速度而战,虚拟机内外兼修[J];电脑爱好者;2010年18期

9 王惠萍;张海龙;冯帆;王建华;;Java虚拟机使用及优化[J];计算机与网络;2010年21期

10 郑婷婷;武延军;贺也平;;云计算环境下的虚拟机快速克隆技术[J];计算机工程与应用;2011年13期

中国重要会议论文全文数据库 前10条

1 孟广平;;虚拟机漂移网络连接方法探讨[A];中国计量协会冶金分会2011年会论文集[C];2011年

2 段翼真;王晓程;;可信安全虚拟机平台的研究[A];第26次全国计算机安全学术交流会论文集[C];2011年

3 李明宇;张倩;吕品;;网络流量感知的虚拟机高可用动态部署研究[A];2014第二届中国指挥控制大会论文集（上）[C];2014年

4 林红;;Java虚拟机面向数字媒体的应用研究[A];计算机技术与应用进展——全国第17届计算机科学与技术应用（CACIS）学术会议论文集（上册）[C];2006年

5 杨旭;彭一明;刑承杰;李若淼;;基于VMware vSphere 5虚拟机的备份系统实现[A];中国高等教育学会教育信息化分会第十二次学术年会论文集[C];2014年

6 沈敏虎;查德平;刘百祥;赵泽宇;;虚拟机网络部署与管理研究[A];中国高等教育学会教育信息化分会第十次学术年会论文集[C];2010年

7 李英壮;廖培腾;孙梦;李先毅;;基于云计算的数据中心虚拟机管理平台的设计[A];中国高等教育学会教育信息化分会第十次学术年会论文集[C];2010年

8 朱欣焰;苏科华;毛继国;龚健雅;;GIS符号虚拟机及实现方法研究[A];《测绘通报》测绘科学前沿技术论坛摘要集[C];2008年

9 于洋;陈晓东;俞承芳;李旦;;基于FPGA平台的虚拟机建模与仿真[A];2007'仪表，自动化及先进集成技术大会论文集（一）[C];2007年

10 丁涛;郝沁汾;张冰;;内核虚拟机调度策略的研究与分析[A];'2010系统仿真技术及其应用学术会议论文集[C];2010年

中国重要报纸全文数据库 前10条

1 ;虚拟机的生与死[N];网络世界;2008年

2 本报记者 卜娜;高性能Java虚拟机将在中国云市场释能[N];中国计算机报;2012年

3 本报记者 邱燕娜;如何告别虚拟机管理烦恼[N];中国计算机报;2012年

4 ;首批通过云计算产品虚拟机管理测评名单[N];中国电子报;2014年

5 申琳;虚拟机泛滥 系统安全怎么办[N];中国计算机报;2008年

6 Tom Henderson邋沈建苗 编译;虚拟机管理的五大问题[N];计算机世界;2008年

7 盆盆;真实的虚拟机[N];中国电脑教育报;2004年

8 本版编辑　综合 编译整理 田梦;管理好虚拟机的全生命周期[N];计算机世界;2008年

9 李婷;中国研制出全球最快反病毒虚拟机[N];人民邮电;2009年

10 张弛;虚拟机迁移走向真正自由[N];网络世界;2010年

中国博士学位论文全文数据库 前10条

1 宋翔;多核虚拟环境的性能及可伸缩性研究[D];复旦大学;2014年

2 王桂平;云环境下面向可信的虚拟机异常检测关键技术研究[D];重庆大学;2015年

3 周真;云平台下运行环境感知的虚拟机异常检测策略及算法研究[D];重庆大学;2015年

4 郭芬;面向虚拟机的云平台资源部署与调度研究[D];华南理工大学;2015年

5 周傲;高可靠云服务供应关键技术研究[D];北京邮电大学;2015年

6 代炜琦;云计算执行环境可信构建关键技术研究[D];华中科技大学;2015年

7 陈彬;分布环境下虚拟机按需部署关键技术研究[D];国防科学技术大学;2010年

8 刘海坤;虚拟机在线迁移性能优化关键技术研究[D];华中科技大学;2012年

9 刘谦;面向云计算的虚拟机系统安全研究[D];上海交通大学;2012年

10 赵佳;虚拟机动态迁移的关键问题研究[D];吉林大学;2013年

中国硕士学位论文全文数据库 前10条

1 潘飞;负载相关的虚拟机放置策略研究[D];杭州电子科技大学;2011年

2 王建一;混合型桌面云高可用性研究与实现[D];华南理工大学;2015年

3 周衡;云计算环境下虚拟机优化调度策略研究[D];河北大学;2015年

4 罗仲皓;基于OpenStack的私有云计算平台的设计与实现[D];华南理工大学;2015年

5 李子堂;面向负载均衡的虚拟机动态迁移优化研究[D];辽宁大学;2015年

6 张煜;基于OpenStack的“实验云”平台的研究与开发[D];西南交通大学;2015年

7 曾文琦;面向应用服务的云规模虚似机性能监控与负载分析技术研究[D];复旦大学;2013年

8 施继成;面向多核处理器的虚拟机性能优化[D];复旦大学;2014年

9 游井辉;基于虚拟机动态迁移的资源调度策略研究[D];华南理工大学;2015年

10 方良英;云平台的资源优化管理研究与实现[D];南京师范大学;2015年

，

本文编号：819652